Webインタフェースを"評価"すること

2009-10-29 07:01

というわけで先週金曜日人前でしゃべってきたわけだが

その研究会の委員長からいくつか質問を受けた。評価をどうするのか？ということである。これについては私自身いろいろ考えているところがあるので、まとまってはいないが書いておこうと思う。

論文とかその類でよくあるのが

・被験者を選び、課題を与え達成時間を計測、またアンケートで意見を収集しました

というものだ。

こういうたぐいの評価はGoromiシリーズに全くそぐわない。まず第一に課題はないのだ。

"なーんとなくヒマ。なんかみたい"

という要望に対しそれの達成度なんか測って意味あるのか。
しかしそれが計測できないから、といってそうした要望が存在しない、と考えるのはこれまた間違っている。電車の中で携帯に向かいテトリスとか意味のないゲームやっている人がいかに多いことか。彼らと彼女たちは

"なーんとなくヒマ"

という感情に突き動かされるまま、何も生産しないビットのブロックを消しているのだ。

第２に私はアンケートが大嫌いである。Nを大きくとれ、かつ定量化できる（ような気がする）からどうでもいい仕事で使ったことはある。しかしそんなもの何の意味もない。これは実際に被験者がその製品を触っているところ（とその最中の表情）を観察し、そのあとアンケートになんと記入するかを観察して得た結論である。

ではどうやって評価するのか？

他の製品ならいざ知らず、Web上で使うことができるものならば、一般に公開するのが唯一まともな評価方法ではないかと思うのだ。

いくら

"ここに座れ。これを使え"

と強制され、その後のアンケートで"ぜひ使ってみたい"に丸をうったとしても、本当に使うかどうかはわからない。

ある時こんな話を聞いた。鞄か何かの評価を行った際のことだ。型どおりの評価を行った後、その鞄を被験者全員にプレゼントしたという。

そして半年後に"あれ使ってますか？"と聞いたのだと。

本当の評価とはこのようなものではなかろうか。

----
抽象論を振り回すのはこれくらいにしよう。ではおまえはどうだ、と言われればまず被験者を集めるところから失格である。つまるところGoromi-Tubeのユーザの８０％は私なのだ。

しかし

私のほかに少しでも使ってくれる人がいれば、その人のログから（ちなみに個人は絶対に特定できないのでご安心を）私は何かを学べるのではないかと期待している。

私がやりたいことは"仮説検証"ではなく"仮説発見"なのだ。"評価"という言葉にはこの両者の意味が混在して（前者の意味合いが強いと思うが）存在している。異なるインタフェースをユーザに使ってもらったとき何が起こるか。インタフェースの設計者が意図しなかった使い方を発見するときほどうれしいことはない。

領域によってはユーザが何をしたいかを十分に想定することができ、そうした仮説を検証するために評価を行うこともあるだろう。

しかし私が興味を持っているのはそういう分野ではない。Youtubeと同じデータを対象としながらインタフェースを変えたときに人はどのように反応するのか。そこからどのような示唆が得られるのか。それに興味があるのだ。

でもだれも使ってくれなければそれまでなんだよね。というわけで今日も少しでも面白く、使いやすいものになるように改良に励まなくちゃ、、と日記には書いておいた。