2013-12-01

Kernel/VM Advent Calendar2013 1日目

ヽ('ω')ﾉ三ヽ('ω')ﾉもうしわけねぇもうしわけねぇ

先日，jubatusが0.5にアップデートがありました．
そこでfluentdのプラグインも0.5に対応中です．

Jubatus 0.5

Jubatusとは？

Juabtusはオンライン機械学習向け分散処理フレームワークです．

0.5は？

0.5では新しく，クラスタリングが新しくサポートされてます．

とりあえず動かしてみます

$ jubaclustering -c /path/to/jubatus/example/config/clustering/kmeans.json &

これでkmeansがjubatusで動きま始めました．
Jubatusのプロジェクトで公開されてるデータをクラスタリングしてみます．

require 'jubatus/clustering/client'
require 'csv'

def csv2datum(file, keys)
  datum = []
  CSV.open(file).each do |row|
    data = Hash[*(keys.zip(row).flatten)]
    data.each do |key, val|
      if val =~ /^[+-]?[0-9]*[\.]?[0-9]+$/
        data[key.to_s] = val.to_f
      else
        data[key.to_s] = val.to_s
      end
    end
    datum << Jubatus::Common::Datum.new(data)
  end
  datum
end

jubatus = Jubatus::Clustering::Client::Clustering.new('127.0.0.1', 9199, '')
keys = (0...20).map{|x| x.to_s}
csv = csv2datum('baseball.csv', keys)
jubatus.push(csv)

p jubatus.get_nearest_members(csv.first)

うん？このデータがクラスタリングの評価に向いてるかって？
実行してみればいいじゃない

ヽ('ω')ﾉ三ヽ('ω')ﾉもうしわけねぇもうしわけねぇ

いろいろとヽ('ω')ﾉ三ヽ('ω')ﾉもうしわけねぇもうしわけねぇ．

2013-06-03

Jubatus Casual Talksで話してきた

Jubatus Casual Talksで話してきました．mikutter-jubatusとfluent-plugin-jubatusを話しました．mikutter-jubatusについては以前書いたのでここでは割愛します．

fluent-plugin-jubatus

Fluentdに投げられたデータをJubatusに投げて結果を再びFluentdに投げるプラグインです．
Fluentdはリアルタイムで流れるようにデータが得られますので，リアルタイムで評価できるJubatusと相性がよいと考えています．今はサポートしている機能として，分類器と異常値検知のみです．また，分類器では学習はサポートしておらず，判定のみをサポートしています．

異常検知

異常検知については，Jubatus Casual Talks開催中に実装されたのでここで説明をいたします．異常検知では，jubaanomalyを利用してFluentdから流れてくるデータを評価し異常値を算出します．

設定例

<match hoge>
  type jubatus
  client_api anomaly
  host 127.0.0.1
  port 9199
  str_keys string1, string2
  num_keys number1, number2
  tag jubatus
</match>

上の設定例では異常値検知を用いたfluent-pluginです．
client_apiで機能を設定します．今はclassifierとanomalyのみが設定できます．
host, portはJubatusの起動しているサーバアドレス，ポート番号を指定します．
str_keysとnum_keysではJubatusに渡すデータのキーを指定します．
tagでは結果をFluentdへ渡すために指定します．
このプラグインでは基本的にJubatusにデータを渡すだけですので，精度の高くしたい場合はJubatusのパラメータをきちんと設定する必要があります．

おわり

簡単にですが，fluent-plugin-jubatusについて説明しました．FluentdからJubatusに渡すことでログ解析がより楽になると思います．
最後にプルリクエスト待ってます．
https://github.com/katsyoshi/fluent-plugin-jubatus

2013-03-17

大江戸Ruby会議03に参加 && Ninja Talksしてきた

先日の2013年3月16日に大江戸Ruby会議03に参加してNinja Talksしてきました．

Ninja Talksでは「Asakusa.rbに1年間通ったらこうなった」というタイトルで話しました．

で，「Asakusa.rbに1年間通ったらこうなった」のですが，通い続けたら発表することになりまして，その部分についてここで書きたいと思いますよ．

Asakusa.rbに参加して

もともと2011年のRuby会議のあと，なにかRubyコミュニティに参加したいなぁと思ってました．で去年の2月にDave ThomasがAsakusa.rbにくるという話がでてきて，これは行く必要がある!!と思ってたのですが，その日は，色々とやることがあっていけなかったのです．
色々とあり4月から上野周辺で働くことになり，「おおっこれは参加できるぞ!!」と思ったのですが，4月は色々とあり参加できなくて，5月の中旬から参加するようになりました．

参加しはじめてからはほぼ毎週参加してました．あとはかくたにさんの話のようにほとんど話をせずにmikutterをいじったりしてます．そうしたらいきなりかくたにさんから話してよって言われてちょっととまどったのですが，こんな機会そうそうないので話することにしました．

という感じで毎週参加してます．