HDFSがおかしいとき

こんにちは、yoshitsuguです。

hadoopを動かしていると稀にHDFSのファイルが壊れることがあります。

（特にPseudo-Distributed Operationで１台でテストしているとよく起こる）

そんなときのTipsです。

次のようなコマンドを実行すると、ファイルシステムのチェックができます。

$ $HADOOP_HOME/bin/hadoop fsck <チェック対象のpath> [-delete | -move]

# $HADOOP_HOME：hadoopのインストールディレクトリ

# -delete ： 異常があるファイルを削除

# -move ： 異常があるファイルを移動して隔離

それでも直らないようならば、

テンポラリファイルの削除

# rm -r /tmp/<ユーザー名>-hadoop*

と、HDFSの初期化

$ $HADOOP_HOME/bin/hadoop namenode -format

を行います。（この時、HDFSのファイルはすべて削除されてしまいます。）