評価という業務の妥当性を考える

コンテクストを考慮しない評価に意味はなし

マニュアルの比較評価やWebサイトのユーザビリティ評価などの結果を目にする機会がありますが、納得させられるものに出会うことは少ないようです。研究発表でも何回か取り上げた通り、基本的な評価の方法や評価軸といったものは存在するはずなのですが、なぜ納得させられるものが少ないのでしょうか。

その最大の原因は、それぞれの個別性、つまり市場におけるメーカーや製品のポジショニングであるとか、想定された目的であるとかを、きちんと織り込んで評価がなされていないことにあります。Webサイトの評価などはまだ良い方で、マニュアルの評価にあたっては評価者が実機に触れることがないどころか、評価対象となる製品カテゴリーに対する根本的な理解を欠いていることすら珍しくありません。「そのような立場の人間が評価した方が、初心者ユーザーにはフレンドリーなものになる」という意見はよく聞きますが、（言葉は悪いのですが）はじめからド初心者をある程度切り捨てる方針でマニュアルが制作されることは、決して珍しいことではありません。情報提供にかけるコストと対象ユーザーの割合を考慮して、現実的にそうした判断がなされることがほとんどなのです（もちろん大きな声では誰も言いませんよ）。

Webサイトの場合では、ターゲットユーザーの絞り込みを行っているサイトの評価に同じような問題がつきまといます。自サイトで取り扱う題材に興味があるユーザーを前提として、情報のカテゴリー分類基準やタイトル付けを決定しているようなところは、評価者を選ぶのです。評価やテスト担当者が運営側の想定ターゲットをはずれていると、思いっきりマイナスの方向にバイアスのかかったデータが出てきてしまいがちです。

マニュアルにしろWebサイトにしろ、それらがデザインされ、完成物として存在するまでのコンテクストを切り捨てた評価やランキングに、どれほどの意味があるでしょうか。もちろん、それ以前の一般レベルでの問題が多いマニュアルやWebサイトが多いことも確かです。ですが、結果を真剣に検討するに値するだけのアウトプットを出せないようでは、評価という業務にどれほど必然性があるのか疑問です。そろそろこうした面を真剣に考えないと、遅かれ早かれ評価する側が信頼を失うことになるのではないでしょうか。（2001.08.06）

マニュアルコンテストの意味

TCシンポジウムも無事終了しました。会場にお越し頂いた皆様、どうもありがとうございました。今年はパネリストによる個別発表形式ではないため、例年のような発表資料／内容公開はありませんが、近いうちに発表テーマのまとめを行いたいと考えています。

さてTCシンポジウムといえば、会場に展示されているマニュアルコンテストの受賞作品。別に受賞作品に対して文句を言うわけではないのですが、何故にこれとこれが同じ賞？というものがあったり、こんなもの入賞させて良いのかよというものがあったり。例年通りといえばそれまでなのですが、やはりコンテストという以上、評価する側にもそれなりの見識が求められると思うのです。

確かに適切に評価するために必要な方策はそれなりに取られていると思うのですが、評価者が根本的に見識を欠く場合には、現状では如何ともしがたいようです。そうかといって一般審査を参考程度に留めてエキスパートによる集中審査形式を採用すると、密室談義の誹りを免れるのが難しくなるということで、なかなか難しいものがあります。

現状で特に納得がいかない評価がされていると感じるのは、構成とデザインです。行間ほとんどなしでコラム幅いっぱいにテキストを組んでいるものが入賞していたり、デザイン自体の質はともかく製品のブランドイメージと乖離してないか？というものもあります。構成についても、ユーザー層や機器ごとの使われ方なども含めて、まともな評価がなされているのでしょうか。こうしてみると、これらを適切に評価できる人がマニュアル業界にほとんどいないと言わざるを得ません。それならそれで、見る目を持ったエキスパートによる審査監督を、もっと厳しく行う必要があります。パッと見で初心者受けする取っつきやすさも重要ですが、そうしたギミックだけに惑わされない大人のコンテストでなければ、業界団体で主催する意味はないのではないでしょうか。

良いマニュアルのスタンダードを確立／普及する目的でマニュアルコンテストを行うのであれば、入賞に値しないものは極力排除しなければなりません。例え入賞作がゼロになったり、特定メーカーのものだけが入賞になったとしてもです。審査を厳格化することで、評価者の見る目の向上も期待できますし、それは日々の業務にフィードバックされることでしょう。Webや電子マニュアルとの情報分担も含めてマニュアルが多様化する中で、マニュアルコンテストの意味や目的、方法を見直す時期に来ているのではないでしょうか。（2001.09.03）

目に見えない価値が評価される前提とは

当研究所が力を入れているのは、わかりやすさや使いやすさといった価値なのですが、皆様もご存じのように、これらの価値は直接目に見えるものではありません。EC系のWebサイトであれば、ユーザビリティ設計がそのまま購買実績に直結することも多いでしょうから、売り上げという目に見える価値として機能しているといえます。ですが、他の分野ではなかなかそうは行かないというのが実情でしょう。ユーザビリティ設計が劣悪なWebサイトであっても、扱っている商材の商品力でカバーしてしまうような力技が通用してしまう面もあるので、難しいところです。

そうすると、目に見えない価値をお客さまにどう理解していただくのかが大変になります。この場合のお客様は最終的なエンドユーザーではなく、マニュアルやWebサイトの制作を依頼してくるお客様ですね（最終的にはエンドユーザーにもその価値を訴求する訳ですから、結果的には同じことなのですが）。ありがちな路線として、サポートコストの低減やユーザー体験の品質強化によるリピート率の向上やブランドロイヤリティへの寄与ということを中心に訴求することになるのですが、問い合わせ数の減少によるサポートコストの低減はともかく、後者のような目的は数値目標的に測定すること自体が困難であったり、実際の数値において変数としてどれだけ寄与しているのかを独立して取り出すことが困難であったり、なかなか難しいところがあります。お客様としても、感覚的に理解できても、上層部から承認を得るためには数値目標的に達成基準が客観的に測定できる必要があるため、定性的な訴求だけではなかなか認められることはありません。

本来、デザインや機能といった目に見える部分の商品力にそれほど差がないのであれば、目に見えない部分の価値が商品力として重要な価値を持ち得るはずです。そういう意味で、同じ商品を扱うことが多いEC系のWebサイトで、ユーザビリティ設計やユーザー体験の強化に力が入れられていることは当然といえます。問題は、目に見える部分の商品力が多少劣っても、目に見えない部分の商品力が他を圧倒している場合です。こうした場合でも、たいていは目に見える価値の方が優先されてしまうことが多いのです。これではいつまで経っても、目に見えない価値は商品力に寄与しないことになってしまいます。

目に見えない価値を理解してもらうには、目に見えない価値を目に見えるような形で訴求するしかありません。それはわかってはいるのですが、どうやって目に見えない価値を目に見えるように実装していくのか、そして目に見えない価値を定量的に評価するスキームを作り上げるのか、なかなか難しいところです。ですが、ここを乗り越えないと、マニュアル制作やユーザビリティコンサルといった業界が「おたくの○○○はデキが悪い。デキを良くしないと祟りが〜」というような恐喝産業（苦笑）として認定されてしまうことでしょう。最近ユーザビリティ関連で派手な動きも散見されますが、目に見えない重要な価値を、それなりの対価が必要とされるものと理解してもらえるようになるためには、まだまだ地道な取り組みが必要とされているのではないでしょうか。（2001.10.22）