誰が正解を知っているのか
2009-04-21 07:19
前職では研究のような仕事をしていた。大企業の子会社だから、上部は全員親会社からの出向者。だいたい大企業から片道飛行で出向してくる人間というのは、、というのは今日書きたいことではない。
彼らは研究分野について何も知らないし学ぼうとも思わない。そもそも研究なるものに手を染めたこともないし、そのマネージメントについて学ぼうとも思わない。何も知らないが、権力（会社内での）はあるし、わけのわからない演説は大好きだ。
サラリーマンであれば、そうした状況はまあ当たり前なので、それをうまくかわし、あやす方法を身につけなければならない。しかし時々
"こいつらに何がわかる？なぜこれが悪いといえるのか？"
と考えることもあった。
振り返って"正解がない"仕事というのも多々存在する。もちろん法務的にだめだとか、企業としてそれだけは許せないというものは論外だがそうでなければどうやって正解を求めるのか。どっかの企業群のように大会社の社長が一言いえば、それが全グループで正解として共有される、なんてのはジョークとしては面白いが、私にはそうした類のユーモアのセンスが欠けているようだ。
というわけで先日見つけた記事。
C-teamはクラウドソーシングでバナーをたくさん作ってもらいます。クラウドソーシングとは、一般のユーザーにネット経由で仕事を手伝って貰う、というイメージのものです。
via: C-teamで作るバナー広告の効果がスゴすぎてひいた話 : ロケスタ社長日記
ここでだいたい200個くらい作ってもらいます。
そして審査を通ったものを、まず、ひたすら出稿先に表示してみます。
その中で、クリック率が高いものを、独自の最適化技術で表示回数をあげていく、というものです。単にクリック率が良いものを表示するだけではなくて、いろいろ入れ替えたりして最終的に効果が最適になるような仕組みになっています。
（中略）
何がスゴイかっていうと、この「よくクリックされるバナー」が何でそれがクリックされるかというのは、結果を見るまでわからない、ということです。
via: C-teamで作るバナー広告の効果がスゴすぎてひいた話 : ロケスタ社長日記
ディレクターやデザイナーが「これはいい」と思ったものでも悪い時はありますし、「ダメだ」と思ってもスゴいクリックされたりします。
広告代理店の人や、クリエーターの人や、Webディレクターの人や、ユーザービリティの専門家など、いろいろな人に聞いてみていますが、「これが一番クリックされる」と当たる人はほとんどいませんでした。（むしろはずすパターンのほうが多かった）
これは実に興味深い結果だ。"何も知らないえらい人"どころか"その道の専門家"として飯を食っている人の言うこともあたらない、というのだ。
もちろん"正解率に有意な差があるか検定していないため、評価ができない"という意見もあろうが、まあそう難しいことは言わない。つまり
"あたるか否か判断できるのは実際のユーザだけ"
ということ。私が愛する表現を用いれば
"最良のユーザモデルはユーザ自身だ"
ということになる。
とはいえこの方法は所詮GA的な最適解探索をやっているにすぎない、ということは注意しておく必要がある。数十名のクリエイターが考え付く範囲内で解探索をやっているので、
今まで、クリック率は見ても、それがベストだったかどうかはあまり判断されなかったと思います。それがC-teamを使うと、一気にベストなものが出てくるのです。
via: C-teamで作るバナー広告の効果がスゴすぎてひいた話 : ロケスタ社長日記
ここで使われている"ベスト"というのはあくまでも"試したもののうちでベスト"ということであり、本当に最適解かどうかはわからない。
また時としてiPhoneのようなNuclear Bombにふっとばされる可能性についても考慮しておく必要がある。