Jubatus Casual Talksで話してきた
Jubatus Casual Talksで話してきた
Jubatus Casual Talksで話してきました.mikutter-jubatusとfluent-plugin-jubatusを話しました.mikutter-jubatusについては以前書いたのでここでは割愛します.
fluent-plugin-jubatus
Fluentdに投げられたデータをJubatusに投げて結果を再びFluentdに投げるプラグインです.
Fluentdはリアルタイムで流れるようにデータが得られますので,リアルタイムで評価できるJubatusと相性がよいと考えています.今はサポートしている機能として,分類器と異常値検知のみです.また,分類器では学習はサポートしておらず,判定のみをサポートしています.
異常検知
異常検知については,Jubatus Casual Talks開催中に実装されたのでここで説明をいたします.異常検知では,jubaanomalyを利用してFluentdから流れてくるデータを評価し異常値を算出します.
設定例
<match hoge> type jubatus client_api anomaly host 127.0.0.1 port 9199 str_keys string1, string2 num_keys number1, number2 tag jubatus </match>
上の設定例では異常値検知を用いたfluent-pluginです.
client_apiで機能を設定します.今はclassifierとanomalyのみが設定できます.
host, portはJubatusの起動しているサーバアドレス,ポート番号を指定します.
str_keysとnum_keysではJubatusに渡すデータのキーを指定します.
tagでは結果をFluentdへ渡すために指定します.
このプラグインでは基本的にJubatusにデータを渡すだけですので,精度の高くしたい場合はJubatusのパラメータをきちんと設定する必要があります.
おわり
簡単にですが,fluent-plugin-jubatusについて説明しました.FluentdからJubatusに渡すことでログ解析がより楽になると思います.
最後にプルリクエスト待ってます.
https://github.com/katsyoshi/fluent-plugin-jubatus