HBase では、0.20.0 から複数 Master をサポートしたそうで。 ちょっと気になっていたのですが、こちらの実験環境では Master が起動しているマシン(myhdfs1)からしか、クライアント(Shell)によるコマンド発行がエラーになるんですよね。 myhdfs1> ./bin/hba…

Hadoopユーザー会の「Zookeeper Warningメッセージ」というスレッドでのやりとり。 http://groups.google.co.jp/group/hadoop-jp/browse_thread/thread/47219f4a42cc3f6e もし、ZooKeeperクラスターがダウンすると、HBaseクラスター全体がクラッシュしますの…

HBase の環境が一応できたということで、まずは触ってみる。ドキュメントとしては、Getting Started の他には API ドキュメント、Wikiと FAQ という感じらしい。 正直、Cassandra もそうだが、wiki がかなりわかりにくいと思う(探しにくいだけ？)。ので、She…

ZooKeeper もなんとなく動いたみたいなので、HBase を導入してみる。 Hadoop のエントリで、バージョンは 0.20.0 と書いたのが、実は 0.20.2 の間違いだったという話は内緒です(修正しました)。 HBaseトップページ：http://hadoop.apache.org/hbase/ HBase …

前回のエントリの最後に「Programmers Guideをみると、クライアントプログラムなどの作成方法などが解説されていますが、とりあえず今回は HBase のほうに進むということで、ZooKeeper についての話はいったんここで終わります。」なんて書きましたが、HBase…

そんなわけで前回(d:id:k155e1:20100420:1271755120)に引き続き ZooKeeper(バージョンは 3.3.0)の話ですが、以下、Getting Startedのサンプルをそのまま実行しただけのログです。 その前に log4j.properties でファイルへのログを有効にしてみた。 # Format …

HBaseをインストールするためにはZooKeeperというものをインストールする必要があるらしい。 というわけで、ZooKeeper というものをインストール。 っていうか、けっこう書いてたのに左側の「はてなダイアリープラス」のバナーを間違ってクリックしたらすべ…

というわけで、1つ前のエントリ(d:id:k155e1:20100420:1271728950)で準備したHDFS上のファイルを、ブラウザから見てみる。 http://myhdfs1:50070/でアクセスしたときの画面表示(myhdfs1がmasterノードです) Browse the filesystemというリンクをクリック。 …

Hadoopをインストール、セットアップして起動したあと、適当にいじってみる。 参照 Shellコマンドで。 http://hadoop.apache.org/common/docs/current/hdfs_shell.html HDFS自体のユーザガイド http://hadoop.apache.org/common/docs/current/hdfs_user_guid…

今回は、３台のデスクトップPCに入れたCentoOS上でいろいろとやってみることにしました。 試した Hadoop のバージョンは 0.20.2 です。 後々、バージョンアップするときはまた書こうと思います。 Hadoop構築にあたっては、クラスタを構成するマシン間でsshの…

インストール関連 セットアップに関しては、↓の連載と本家を参考にしました。 http://codezine.jp/article/detail/2485本家、スタートアップ↓ http://hadoop.apache.org/common/docs/current/quickstart.html そのた参照 コマンドリファレンス http://hadoop…