Hadoop Conference Japan 2014に参加しました。 最近あまり触ってなかったのですが、また案件で利用するニーズが出てきたので最新情報の収集目的です。 今日の収穫としてはこんな感じ Apache Spark 一週間の活動量がすごい 500 patch updates / w 200 update…

感想や聞いてきた内容のシェアはhadoopコードリーディング第10回で行いますが、自分用のメモというか探せた資料を掲載しておきます td { border: 1px solid #CCC;} オープニングビデオ Day1 Keynotes 時間 Hall 1 A1 B1 A2 A3 C1 C3 10:30-11:10 Apache Hado…

Hive in NHN Japan (NHN Japan 田籠 聡 @tagomoris) インデックスは興味なくて、パーティション内を全部舐めて、useragentとかPCなのかモバイルなのかを調べてる リアルタイムにログがfluentで来て、hoopを使って半リアルタイムでデータHDFSに上がって、Hive…

mongodb/mongo · GitHub ありていにいえば、文字通り、hadoop mapreduceでmongodbを使うためのプロジェクトです。mapreduceのmainで public static void main( String[] args ) throws Exception{ final Configuration conf = new Configuration(); MongoCon…

「サーバが占有されてて作業が出来ません」とか言いたいときに使ってください。これを適当に「jhadoop」とかってファイル名で保存して、実行権限をつけて、実行すると、それっぽいログが出続けてくれます。気が向いたら、なんかException出して死んだりする…

アジェンダ @okachimachiorzさんによるHadoopトレーニング2日目 -ここからが本番編- @ryu_kobayashiさんによるMapReduce障害がおきたときのフロー @fujibeeさんによる--cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み @tatsuya6502…