独立変数と従属変数と

2011-07-06 06:31

Web関連の研究について聞くたび思うことだが

「それの評価ってどうやるの」

どんな研究にも評価はつきものではないか、と言われればそのとおり。だいたい権威ある学会に通る論文というのは、誤差バーつきのグラフがのっている。有意差があるのないのほにゃらほにゃら。

でもっておなじみ心理学の皆様が特異な「実験をきちんと計画して、独立変数と従属変数が云々カンヌン」になるわけだ。条件は統制しましょうねえ。じゃないと論文とは言えませんよー。

とかなんとか言ったところで実際に流行っているサービスには勝てないし、そもそもユーザを無作為に選び、異なる選択肢にどう「現実世界で反応するか」を見たほうがはるかに説得力があるし実際的でもある。先日もブログのネタにしたこの文章。

オファマティカは、過去のデータを元に数字をはじく社内分析屋だけでなく、大学の研究室ですさまじい対照実験を行う「ユーザビリティ専門家」とも対決することになる。ユーザビリティ専門家は、実験室で確立されたいくつかの原則に大いに自身を持っている-たとえば「人々はまず左上の隅を見る」とか「人は青より赤に注目する」とか。 ロシュは反論する。「現実の世界では、広告はものすごい数のその他の入力と競合しています。対照実験なんてものは存在しません。ユーザビリティ専門家は、他の情報の津波が押し寄せているのに砂でできた真実の城にしがみついているんです。」

その数字が戦略を決める　P103

条件を統制して云々とかいったところで現実世界でそんなことはできはしない。であればそもそもその実験は何を計測しているのか、ということになる。

いや、大気中ではF=maなんてものは絶対に観測されないが、それでも運動方程式の有用性は、、とかくだらない論議が続くのかもしれん。

ーーーーーー

というかWeb関連研究でどうも評価がいかがわしいと思うのは、「そんなに素晴らしい技術（サービス）ならさっさと公開すればものすごいユーザがつくのでは」と思ってしまうからだ。論文の常として、多くのサービスは現実世界でよちよち歩きさえできない。

であれば結局論文のための研究ということになり、、、とか思うことが多いのだけどね。