マニュアル評価のポイント（前編）

2000年1月24日

今回から2回にわたって、マニュアルをどう評価するか？ということについて考えてみたいと思います（マニュアルを例にして話を進めますが、操作仕様策定などの業務を担当されている方にも参考になる内容が多いのではないかと思います）。

まず今回は、具体的にどういう基準でもって評価するかということ以前に、そもそもどういった評価方法があるのかについて、評価方法の長所／短所に触れながら概観してみたいと思います。

評価チェックリストを利用する

メーカー内部でマニュアルを評価する際には、チェックリスト方式がよく利用されているようです。
確かによく整理されたチェックリストであれば、誰でも簡単にマニュアルを評価できるように思えます。しかし、評価項目が多すぎて有効に機能していないチェックリストが世の中に多すぎやしませんか？
これはマニュアルの評価項目として考えられる要素を、何も考えずにすべてチェックリストに放り込んでしまうためです。チェックリスト方式を採用するのであれば、数ある項目のうちで何が大事なのかを明確にするような工夫があらかじめ求められるところです。例えば、チェック項目を複数段階に分けて整理するとか、評価結果を数値化するときに重み付けをするために傾斜配点（受験みたいでイヤですね、この言葉）を採用するなどといった対策が考えられます（このあたりの実際の評価現場での工夫は、次回に詳しく取り上げる予定です）。

では重点項目に対するケアができればチェックリスト方式が完璧なのかといえば、そうは問屋がおろしません。
そもそも「何が大事かを明確にする」ということ自体が価値判断を含んでいることに注意を払う必要があるでしょう。つまり、求められるマニュアル像は、誰がどのような観点でチェックリストをまとめたかに依存してしまうということを自覚しておかなければなりません。これは実際の評価者よりも、評価チェックリストを作成する側の問題ですね。
また、チェックリストの各項目の評価基準を明確にしておかないと、評価者によって評価基準がばらけてしまい、統一した評価基準を保てないという問題もあります。誰が評価しても同じような結果が出るようにするためには、数値基準などを用いた明確な評価基準を策定しておく必要があるでしょう（でもこのような基準を作るのは大変な作業なんですよね . . . ）。

各種サポートツールを利用する

メーカー内部で評価を行うのではなく、ユーザーの立場を反映したマニュアル評価を行う方法として、各種サポートツールに寄せられたユーザーの声を集約するという方法があります。
これはユーザーから寄せられたマニュアルに対する不満／要望をもとに、マニュアルの品質を評価するというものです。製品に付属するユーザー登録はがきや満足度アンケートなどを利用したり、サポートセンターに寄せられるユーザーの声などが主に利用されるようです。最近ではWeb上でユーザーの生の感想を見る機会も多く、参考になることが多いのではないでしょうか。
マニュアル担当者がサポート担当部門と話し合いを持つということもよく行われているようですが、これもこういった方法の一環でしょう。

しかし、この方法にも問題があります。それはユーザーの主観的な評価に流されやすいことと、問題点だけがクローズアップされがちである、ということです（まあマニュアルを読んだときに生じる感情はすべて主観的なものだ、と言ってしまえばそれまでですが）。
実際問題として、ユーザーからの声というものは製品の機能のすばらしさや、製品やマニュアルの問題点に関して寄せられるもので、マニュアルのすばらしさに対して寄せられることは滅多にありません（文句だけというわけですね）。従って、現在のマニュアルが抱えている問題点を明らかにするという目的のためには役に立つのですが、改善点が有効に機能したかどうかを検証するツールとしては問題があるように思えます。
満足度アンケート等を活用することで、ある程度具体的な声や必要とする意見を集めることも可能かと思われますが、コスト条件などの面で安易に行うことができないという点にも留意する必要があるでしょう。

最後にメーカーが陥りがちな問題として、サポートコールの回数が減った＝品質が上がったという単純な発想に基づいてマニュアルを評価する、という態度があげられます。サポートコールの数というものはマニュアルだけの問題ではなく製品の操作仕様にも依存することが多いので、このような方法での評価を重視することは問題があります。また、この方法での評価を重視すると、モグラ叩き的な、その場しのぎの改善にしかつながらないことにも注意する必要があるでしょう。

ユーザー調査を利用する

前述のサポートツールを利用する評価方法は、どちらかというと受動／消極的な評価方法であるといえます。それに対して、制作中のマニュアルのプロトタイプなどを利用したユーザー調査、という能動／積極的な評価方法もあります。
この辺は操作仕様に関するユーザビリティテストなどと同様に、一般的に次のような手法が用いられているようです。

グループディスカッション
想定ターゲットユーザーと同じような層のユーザーを集めて、マニュアルに対する考え方や現状のマニュアルに対する不満などを話してもらい、その中から評価や改善のためのヒントを探る手法です。
発話解析（プロトコル分析）
ユーザーが考えたことを逐一声に出してもらいながらマニュアルを使って製品を操作してもらい、あとから発話を元にしてユーザーの心理状態を分析し、評価や改善のためのヒントを探る手法です。
複数マニュアルを利用した比較テスト
改善前のマニュアルと改善後のマニュアルを使って操作してもらい、改善点が有効に機能しているかどうかを検証する手法です。ある程度のユーザー数を集めて、タスク完了にかかる時間を測定するというのが一般的な手法のようです。このテストと前述の発話解析を組み合わせれば、かなり精度の高い分析が可能になるでしょう。

このあたりの手法については、ユーザビリティ調査に関する書籍に詳しく触れられているので、そういった書籍を参考にされるのが良いかと思います（「ユーザ工学入門」などがおすすめです。）

いかがでしたか？

ここまでマニュアルを評価するための基本的な方法について見てきましたが、「ここまでやらないと評価できないの？」と思われたかたが多いのではないでしょうか。実は全くその通りで、実際のマニュアルを評価するにあたっては、ここまでする必要がないことが多いのです。それ以前に、他にやることがあるだろう？というマニュアルの方が圧倒的に多いのが実状ですね（苦笑）。