読者です 読者をやめる 読者になる 読者になる

第2回 MongoDB JP 勉強会 in Tokyoに参加してきました

プログラム mongodb

おまけに久しぶりに発表までしてきました。

資料→

ざっくり内容を書いておくと

  • mongodbは固定フォーマットではないデータをとりあえず投入して構造化できるので、解析初期に非常に便利
  • mongoimportは標準入力でいけるので、hadoop/hiveのstreamingと相性いい
  • mongoimportは標準入力でいけるので次のようにフィルタをかませられる
$ cat access.log | perl ./filter.pl | mongoimport -d mydb -c mycollection --fields ip,timestamp,method,host,uri,useragent
  • mongodbのmapreduceはkey/valueを縦横無尽に検索したり集計したりできるので、解析初期に便利
  • mongodbのmapreduceはhadoopのそれと比べると、sort&shuffleが隠されていて無い、(おそらく)それを補うようにfinalizeが付いてる
    • ただfinalizeは最終的なmapreduce成果物を全然入れ替えるほどの力がある
var out = 'hoge',
map = function(){
  emit(ua, 1);
},
reduce = function(k, vs){
  return Array.sum(vs);
},
finalize = function(k, out){
  var career = k.match(/(KDDI)|(DoCoMo)|(SoftBank)/);
  return {cnt: out, sumtime: new Date(), career: career[1]};
};
db.col.mapReduce(map, reduce, {fianlize: finalize, out: out});
db.hoge.find();
// もし、finalizeがなければしたみたいな{_id: UA, value: 回数}みたいなのが返ってくる
{_id: "ua1", value: 10}
{_id: "ua2", value: 20}
{_id: "ua3", value: 30}
{_id: "ua4", value: 40}

// でも、finalizeがあるので、したみたいな全然違うオブジェクトを作ることができる
{_id: "ua1", value: {cnt: 10, sumtime: ISODate(XXX), career: "KDDI"}}
{_id: "ua2", value: {cnt: 20, sumtime: ISODate(XXX), career: "DoCoMo"}}
{_id: "ua3", value: {cnt: 30, sumtime: ISODate(XXX), career: "KDDI"}}
{_id: "ua4", value: {cnt: 40, sumtime: ISODate(XXX), career: "SoftBank"}}
  • ただ、世の中にはmapreduceの実例がほとんど無い(googlabilityが低い)
  • mapReduceで重要なパラメタはフィルタリングの意味のquery(64bitでも、すぐにout of memory的なこというから)と、out.merge(出力先をmergeすることはaccess.log解析ではJKといっても過言ではない)
  • mongodbは特性上、フォーマットはでたらめでいいけどtimestampだけは最低合わせておく(ISODateでもNumberでも)
  • PV/UU/Session集計のサンプル書いておいた
    • PV
// 1時間ごとのPV
var col = db.logs,
  out = db.logs.hour,
  begin = new Date(),
  map = function(){
    var dt = new Date(this.timestamp),
        os = OSDetector(this.ua), browser = BrowserDetector(this.ua);
    emit({host: this.host, timestamp: new Date(dt.getFullYear(), dt.getMonth(), dt.getDay(), dt.getHours(), 0, 0)}, {cnt: 1, os: os, browser: browser);
  },
  reduce = function(k, vs){
    var out = {cnt: 0, os: {}, browser: {}};
    vs.forEach(function(v){
      out.cnt += v;
      if(out.os.hasOwnProperty(v.os)){ out.os[v.os] += 1; }else{ out.os[v.os] = 1; }
      if(out.browser.hasOwnProperty(v.browser)){ out.browser[v.browser] += 1; }else{ out.browser[v.browser] = 1; }
    });
    return out;
  },
  finalize = function(k, out){
    return out;
  };
col.mapReduce(map, reduce, {finalize: finalize, out: {merge: out}});
print('create col '+out+' begin '+begin+', end '+new Date());
    • UU
var
  o = 'logs.hour.uu.tmp',
  col = db.logs,
  map = function(){
    var dt = new Date(this.timestamp);
    emit({timestamp: new Date(dt.getFullYear(),dt.getMonth(),dt.getDay(),dt.getHours(), 0, 0),
          user: this.session, host: this.host}, 1);
  },
  reduce = function(k, vs){
    var sum = 0;
    vs.forEach(function(v){ sum += v; });
    return sum;
  };
col.mapReduce(map, reduce, {out:out});
var
  o = 'logs.hour.uu',
  col = db.logs.hour.uu.tmp,
  map = function(){
    emit({timestamp: this._id.timestamp, host: this._id.host}, {pv: this.value, uu: 1);
  },
  reduce = function(k, vs){
    var pv = 0, uu = 0;
    vs.forEach(function(v){
      pv += v.pv; uu += v.uu;
    });
    return {pv: pv, uu: uu};
  };
    • セッション集計 (counting session)
var
  o = 'logs.hour.session,
  map = function(){
    var dt = new Date(this.timestamp);
    if(!this.ref.indexOf(this.host)){
      // こういうところでちょっとした工夫が出来るところがmongodb mapReduceの面白いところ
      emit({timestamp: new Date(dt.getFullYear(), dt.getMonth(), dt.getDay(), dt.getHours(), 0, 0),
            user: this.session,
            host: this.host}, 1);
    }
  },
  reduce = function(k, vs){
    var sum = 0;
    vs.forEach(function(v){
      sum += v;
    });
    return sum;
  };
  • ごめんなさい。スライド後で見返したら、chrome以外うまく見られないかも >

mongodb benchmark (import/ find/ mapreduce) N=5

  • VM mini
process No Sharding x No Striping No Sharding x Striping Sharding x No Striping Sharding x Striping
mongoimport 9m9.201s 8m40.438s 10m30.101s 11m30.042s
find 38.37796 42.29296 13.61808 14.99836
mapreduce 226.64 229.46 107.39 106.85
  • VM large16
process No Sharding x No Striping No Sharding x Striping Sharding x No Striping Sharding x Striping
mongoimport 4m19.671s 1m44.757s 4m23.050s 3m13.803s
find 1.04364 1.0296 1.12412 1.13192
mapreduce 52.53 52.10 26.08 26.08