読者です 読者をやめる 読者になる 読者になる

Jubatus Casual Talksで話してきた

Jubatus Casual Talksで話してきた

Jubatus Casual Talksで話してきました.mikutter-jubatusとfluent-plugin-jubatusを話しました.mikutter-jubatusについては以前書いたのでここでは割愛します.

fluent-plugin-jubatus

Fluentdに投げられたデータをJubatusに投げて結果を再びFluentdに投げるプラグインです.
Fluentdはリアルタイムで流れるようにデータが得られますので,リアルタイムで評価できるJubatusと相性がよいと考えています.今はサポートしている機能として,分類器と異常値検知のみです.また,分類器では学習はサポートしておらず,判定のみをサポートしています.

異常検知

異常検知については,Jubatus Casual Talks開催中に実装されたのでここで説明をいたします.異常検知では,jubaanomalyを利用してFluentdから流れてくるデータを評価し異常値を算出します.

設定例

<match hoge>
  type jubatus
  client_api anomaly
  host 127.0.0.1
  port 9199
  str_keys string1, string2
  num_keys number1, number2
  tag jubatus
</match>

上の設定例では異常値検知を用いたfluent-pluginです.
client_apiで機能を設定します.今はclassifierとanomalyのみが設定できます.
host, portはJubatusの起動しているサーバアドレス,ポート番号を指定します.
str_keysとnum_keysではJubatusに渡すデータのキーを指定します.
tagでは結果をFluentdへ渡すために指定します.
このプラグインでは基本的にJubatusにデータを渡すだけですので,精度の高くしたい場合はJubatusのパラメータをきちんと設定する必要があります.

おわり

簡単にですが,fluent-plugin-jubatusについて説明しました.FluentdからJubatusに渡すことでログ解析がより楽になると思います.
最後にプルリクエスト待ってます.
https://github.com/katsyoshi/fluent-plugin-jubatus