バイヤーズガイド、予算配分、給与策定などの現実的な意志決定を効率化させるための制度として、評価という行為は現代ではしばしばシステム化される。これは、批評行為と地続きではある。だが、文芸批評的な意味での批評が、批評対象となるものに対する「理解」を目指して行われるとすれば、レビューシステムは現実の「意志決定」を目的として行われる。そのような形で成立している制度化は、批評とは多くの点で別種の妥当性や、価値を持つものとして捉えたほうがよい。
レビューシステムの利点と問題点 †
有名なレビューシステムとしては、kakaku.com(http://kakaku.com)や、Amazon(http://www.amazon.co.jp)などが挙げられるが、この二つのサイトはレビューシステムを抱えていると同時に、インターネット上でも最大級のインターネット販売サイトである。つまり、レビューシステムは販売促進用のシステムとして作られている。 このことからもわかるように、レビューシステムがもたらす情報はその公正さや妥当性においてはともかく、効率的・迅速な意志決定のための補助的な役割が期待されて成り立つものだと言えるだろう。
レビューシステムの妥当性:簡易統計調査 †
だが、利用者の効率的意志決定のために作られたシステムであるとはいえ、レビューシステムがレビューとしての最低限度の妥当性を持つことが保証されていなければ、誰も利用しない。では、レビューシステムが保証する妥当性とは何か。 ほとんどの場合、レビューシステムが提供する妥当性とは「簡易な統計調査」としての妥当性である。つまり、複数人のレビューを点数やタグ付けなどによって、統計処理可能な量的データ/質的データとして蓄積していき、作品ごとに対して平均/最大値/最小値/中央値などを算出する。そして、作品ごとに平均点を比較したり、ランク付けなどをすることにより、たった一人の人間による主観的なデータよりも、信頼性の高いデータを得られる、というものである。
たとえば、私のよく使う映画レビューサイトCinemaScape(cinema.intercritique.com/)は個人運営のサイトとしてはきわめて高度なデータ処理を数多く行っている。 量的データの処理だけでなく質的データの処理にも工夫が凝らされている。評判の良いレビューの文章を上位にソートする機能や、作品ごとのクラスター分析などによってレビュアーや作品の傾向分析がなされる。それによって特定の作品の類似作品や、ある特定のクラスターの人々の間で評判のよいものを見つけ出してくることも可能である。使い方に慣れるとかなり便利だ。 また、もっと一般的なところでは、amazonの平均点やamazonの「おすすめ」などはよく知られているだろう。
レビューシステムのもつ統計調査としての問題 †
ただし、レビューシステムがあくまで「簡易な統計調査」であることを忘れてはならない。まず、どんなレビューシステムであっても、その設計・運営者・利用者が統計調査に関する基本的を知らければ、そもそもシステムの持つ役割を誤解してしまうだろう。 仮にシステムの設計者が統計やデータマイニングに関わる知識を豊富にもっていたとしても統計的にきちんとした前提を踏まえた上での調査結果をアウトプットとして出すことはしばしば困難である。 最も典型的な問題は、こうしたオンライン上に自由に解放されたシステムでは、サンプリングをきちんと行うことができないため、「書きたい・点数付けした人による意見」に全体に偏りがちになり書きたい・点数付けしたいと思わなかった人の意見がどうなっているかがわからなくなる。ということである。
また、調査の設計の仕方によっては他にも様々な問題が生じることがある。
Amazonのシステムの抱える問題 †
たとえば、Amazon(http://amazon.co.jp)では、レビュアーの書いたレビューをレビューごとの単位ではなく、レビュアーごとの単位でランク付けをしている。これは、レビュアーにレビューを書かせるための動機付けのシステムとしてはよく考えられたものだが、レビュアーがこのランキングを効率的に上昇しようと思うと、マジョリティに迎合するのが最も効率のよい戦略だということに気づく。そのため、Amazonのシステムは全体としては議論の保守化、沈黙の螺旋化を招きやすい制度設計になってしまっているといえる。(→ケインズの美人投票)
Playstation mk2のシステムの抱える問題 †
家庭用ゲーム機のレビューシステムとして有名なPlaystation mk2(http://psmk2.net/)ではどうか。 このサイトの工夫の一つとしては、評価項目の分類を「オリジナリティー」「グラフィックス」「音楽」「熱中度」「満足感」「快適さ」などといった形で細かく分類し、項目ごとの点数評価をすることが挙げられる。こうした項目評価を細分化することによって、ソフトごとの特性を表現するような結果を出すことに貢献する工夫である。 だが、こうした工夫は一方では平均的にソツなくできたソフトが最もよいソフトだという評価を生み出してしまう。たとえば、オリジナリティーと快適さが飛び抜けてすばらしくプレイヤーとしては大満足のソフトと、全体的はソツなくよくできているためほどほどに満足したが今ひとつこれといって惹かれる部分のないソフトを比べた場合に、前者よりも後者が高い評価を受けてしまう場合が多い。 表にすると次のようになる。
一点豪華主義の傑作 | ソツなくできた秀作 | |
平均点 | 71.5点 | 80点 |
総合評価 | 99点 | 80点 |
音楽 | 40点 | 80点 |
快適さ | 70点 | 80点 |
グラフィックス | 40点 | 80点 |
熱中度 | 90点 | 80点 |
オリジナリティー | 90点 | 80点 |
オリジナリティや熱中度は高いが、音楽やグラフィックスがヘボい一点豪華主義の傑作のようなソフトと、全体にソツなくできているだけの秀作というようなソフトを比べた場合、総合評価では一点豪華主義の傑作が優れているということになるが、項目ごとの平均点で評価すると、ソツなくよくできた秀作のほうが優れているということになってしまう。 こうしたソツなくよくできた秀作を生み出す力は、言うまでもなく大手メーカーのような開発の体力のあるところが得意とする仕事であり、「年間一位」の作品などを見ると、大手メーカーへの偏りが多くなる傾向にある。
ファミ通のクロスレビュー †
日本のゲーム業界において最も、大きな威力を誇ったレビューシステムである。 当初は、簡便な統計調査的として機能していたが、権威としての役割を読者―編集者が相互的に認識していったことにより、近年ではファミ通の売り上げ自体もさることながら、ファミ通クロスレビュー自体の重み自体もゆっくりとだが低下しつつある。
critique of games内のファミ通クロスレビュー関連記事 †
ゲームのレビューシステム †
- playstation mk2
- ErogameScape