2010-04-01から1ヶ月間の記事一覧
最近いろいろと考えることが多い気がする。 基本、仕事に関して。次だけではなく、次の次も考えて行動しないとねぇ・・・
Hadoop だ Map Reduce だ、という話をしていたけど、なんとなく Google App Engine を使ってみたくなったのでちょっとお試し。 とりあえず、ローカルへの導入とJSPあたりまで。まだアプリケーションIDは取得せず。とっぷ。 http://code.google.com/intl/ja/a…
HBase では、0.20.0 から複数 Master をサポートしたそうで。 ちょっと気になっていたのですが、こちらの実験環境では Master が起動しているマシン(myhdfs1)からしか、クライアント(Shell)によるコマンド発行がエラーになるんですよね。 myhdfs1> ./bin/hba…
Hadoopユーザー会の「Zookeeper Warningメッセージ」というスレッドでのやりとり。 http://groups.google.co.jp/group/hadoop-jp/browse_thread/thread/47219f4a42cc3f6e もし、ZooKeeperクラスターがダウンすると、HBaseクラスター全体がクラッシュしますの…
HBase の環境が一応できたということで、まずは触ってみる。ドキュメントとしては、Getting Started の他には API ドキュメント、Wikiと FAQ という感じらしい。 正直、Cassandra もそうだが、wiki がかなりわかりにくいと思う(探しにくいだけ？)。ので、She…
雨の中行ってきました、シーサイド。 最後のセッションを都合により聞けなかったのがちょっと残念ですが。なかなか面白い話がきけてよかったです。 ustream でも中継してたみたいで。twitter で質問を受け付けたり、なかなか面白い感じのセミナーになったか…
ZooKeeper もなんとなく動いたみたいなので、HBase を導入してみる。 Hadoop のエントリで、バージョンは 0.20.0 と書いたのが、実は 0.20.2 の間違いだったという話は内緒です(修正しました)。 HBaseトップページ：http://hadoop.apache.org/hbase/ HBase …
前回のエントリの最後に「Programmers Guideをみると、クライアントプログラムなどの作成方法などが解説されていますが、とりあえず今回は HBase のほうに進むということで、ZooKeeper についての話はいったんここで終わります。」なんて書きましたが、HBase…
そんなわけで前回(d:id:k155e1:20100420:1271755120)に引き続き ZooKeeper(バージョンは 3.3.0)の話ですが、以下、Getting Startedのサンプルをそのまま実行しただけのログです。 その前に log4j.properties でファイルへのログを有効にしてみた。 # Format …
HBaseをインストールするためにはZooKeeperというものをインストールする必要があるらしい。 というわけで、ZooKeeper というものをインストール。 っていうか、けっこう書いてたのに左側の「はてなダイアリープラス」のバナーを間違ってクリックしたらすべ…
というわけで、1つ前のエントリ(d:id:k155e1:20100420:1271728950)で準備したHDFS上のファイルを、ブラウザから見てみる。 http://myhdfs1:50070/でアクセスしたときの画面表示(myhdfs1がmasterノードです) Browse the filesystemというリンクをクリック。 …
Hadoopをインストール、セットアップして起動したあと、適当にいじってみる。 参照 Shellコマンドで。 http://hadoop.apache.org/common/docs/current/hdfs_shell.html HDFS自体のユーザガイド http://hadoop.apache.org/common/docs/current/hdfs_user_guid…
今回は、３台のデスクトップPCに入れたCentoOS上でいろいろとやってみることにしました。 試した Hadoop のバージョンは 0.20.2 です。 後々、バージョンアップするときはまた書こうと思います。 Hadoop構築にあたっては、クラスタを構成するマシン間でsshの…
インストール関連 セットアップに関しては、↓の連載と本家を参考にしました。 http://codezine.jp/article/detail/2485本家、スタートアップ↓ http://hadoop.apache.org/common/docs/current/quickstart.html そのた参照 コマンドリファレンス http://hadoop…
このカテゴリの目的。 プログラミング未経験で、これからJavaについて学ぶ人を想定して、Javaプログラミングの考え方を少しずつイメージできるようにしよう、を目的とする。 まぁ、どうなるかはわかりませんが。 んで、第一回はなんとなーくプログラミングの…
書いてみる。本日は晴天かも。
