どぅーちゅいむーにー

これ、Twitterでよくね?という日々の記録かも

Hadoopの基本的なメモ

  • インストール関連

セットアップに関しては、↓の連載と本家を参考にしました。
http://codezine.jp/article/detail/2485

本家、スタートアップ↓
http://hadoop.apache.org/common/docs/current/quickstart.html


  • そのた参照

コマンドリファレンス
http://hadoop.apache.org/common/docs/r0.20.0/commands_manual.html



  • その他、基本的なメモ。

クラスタ構成で起動する場合、masterノードにて、start-all.shを実行する。
また、起動直後は safe mode となっているので、そのあたりを確認する。

今のモード確認は % hadoop dfsadmin -sfaemode get を実行。

% hadoop dfsadmin -safemode get
Safe mode is OFF

safe mode が ON の場合、書き込み、削除ができない。


また、各マシンで jps を発行することで起動しているプロセスを知ることができます。
↓myhdfs1(master)で実行

myhdfs1> jps
23361 JobTracker
4509 Jps
23288 SecondaryNameNode
23168 DataNode
23052 NameNode
23479 TaskTracker
myhdfs1>



↓myhdfs2(slave)で実行

myhdfs2> jps
8411 DataNode
8501 TaskTracker
19314 Jps

実のところ、myhdfs3でjpsを実行したところ、Jpsしか表示されず。
ん〜、なんだかんだ、よくわかりません・・・

  • -

Update History:
2010.04.20:新規作成