fluent-plugin-anomalydetect 0.1.0リリース
anomalydetectみたいな統計処理するplugin、fluentd再起動時に前のデータがないから値が落ち着くまで時間掛かるのかな。shutdown時にメモリ上のデータ保存して次回起動時に使えたらうれしいかも…
憧れのエンジニアである id:fujiwara さんからpull reqもらうとか、自分でも引いているんですが、CROSSも終わったのでmergeしました。
ついでに、閾値を盛り込むことで「閾値を超えた場合のみoutputをするので、twitterとかikachanとか使ってる人が幸せになる」機能を盛り込みました。 閾値についてもチューニングが必要なんで、本来は
@muddydixon しきい値設定とかムズイのでその辺まで自動化しちゃって下さい!
2013-01-16 00:54:42 via YoruFukurou to @muddydixon
と言われているように、自動で出来ればいいんですが、取り急ぎあるといいな、と思い、手で設定できるようにしておきました。
あと多分にお世辞かとおもいますが
これは新しい展開を予感させる / “fluent-plugin-anomalydetect 作りました - PolyPeaceLight” URL
記念にこちらも貼り付けておきます。
CROSS2013のアンカンで話もしました
今後の展開としては、次のようなことを考えています
- 多次元データの入力からの異常値検知
- 1次元だったら勘の良い人は見抜けると思うけど、複合データの組み合わせから異常値検知するのは人では不可能だと思うから
- FTの適用
- Neural Networkの適用
- 閾値の自動チューニング
- 週何回のアラートになるか、でチューニングかなぁと思っています。