NetFlix Grand Prizeで１０％改善を達成したチームが登場

2009-07-02 07:38

前から不思議に思っていたのだが、日本に"情報推薦"とか"データマイニング"の研究をしている人はあまたいるのだが、なぜこのコンテストに日本人チームの名前がでてこないのだろう。（ひょっとしたらいるのかな？）

論文で怪しげな評価なんかつけるより、同じデータ、同じ評価基準をもとに精度を競い合った方が公平、かつ客観的でいいと思うのだが。

Netflix Prizeは、米国のオンラインDVDレンタルサービス「Netflix」が2006年10月に開始したアルゴリズム・コンテストだ。同社のレコメンデーション・エンジン「Cinematch」の動作を10%向上させる成果に100万ドルの賞金が支払われる。

via: 【コラム】シリコンバレー101 (324) 難攻不落と言われたNetflix Prize"10%の壁"、国際チームが突破 | ネット | マイコミジャーナル

ここで"１０％"といっているのはRMSEが現行より１０％改善する、ということである。つまり

"あるユーザがある映画をどのように評価するか"

の予測が、現実の値とどれくらい離れていたかを自乗して、平均とってルートとって、、の値が１０％改善するということである。具体的には0.9514から0.8563まで減少させることを目指している。

わずか10%と思うかもしれないが、ユーザー個々にカスタマイズされた情報が0.1%でも素速く表示されると、ユーザーの利用率が大きく異なるそうだ。「100万ドルのコストでリコメンデーション・エンジンが10%も向上するなら大バーゲンだ」(Netflix)という。

via: 【コラム】シリコンバレー101 (324) 難攻不落と言われたNetflix Prize"10%の壁"、国際チームが突破 | ネット | マイコミジャーナル

この記事は速度の向上と、精度の向上をごっちゃにしているようだが、まあ細かいことは言わない。私が知りたいのは

"この１０％はユーザにとってどんな意味をもつか？"

ということである。このコンテストで使われたような難しい手法を用いなくても、"その映画の評価の平均と、その人の評価の平均の平均"とかでも結構よい予測ができるように見える。（少なくとも私が考えたアルゴリズムよりずっとよい結果だった。しくしく）

しかしNetflixが一億円の賞金をかけてまでアルゴリズムの改善に取り組んだのは、その１０％がユーザにとってそれだけの意味を持つと考えたからにほからない。

ここで"よしじゃあユーザ満足度をアンケートによって測定"といった瞬間に話が客観的でなくなってしまう。たとえば

"インタフェースを同一にしてアルゴリズムだけ変えた場合"

と

"アルゴリズム同一で、インタフェースを変更した場合"

の影響の差分とか調べると、とても面白いと思うのだけど。