電子マニュアルコンテスト審査基準
1998年9月7日
今回は番外編です。
先日開催されたTCシンポジウムの発表「はじめて開催された電子マニュアルコンテスト」のうち、当研究所の所長が発表を担当した「電子マニュアルコンテストの審査基準」の原稿をお届けしようと思います。先に公開した発表資料（PDFファイル、約96KB）と合わせてご覧いただくことをお勧めいたします。
高額な参加費を払って参加された方に申し訳ないので、今回の内容は発表原稿の元原稿とします。実際の発表はこの原稿に加えてその場のアドリブで追加／補強しておりますので、実際にお聞きになられた方にも損はないと思います。
今回の審査基準について
今回の評価基準は、「電子マニュアル評価ガイドラインに関する調査報告書」の内容を、コンテスト向きに修正を加えたものです。この発表では、コンテストの評価基準の原形である評価ガイドラインの考え方についてご説明しようと思います。
まず「電子マニュアル評価ガイドラインに関する調査報告書」ですが、これがどういうものかについてご説明する必要があります。財団法人ニューメディア開発協会からテクニカルコミュニケーター協会に依託された、電子マニュアルに関する調査研究プロジェクトの成果です。電子マニュアルに関する調査研究プロジェクトは、ここまで以下のように進んでいます。
- 「マルチメディア環境におけるマニュアル進化の動向に関する調査」（平成7年度）
- 「電子マニュアル制作ガイドラインに関する調査」（平成8年度）
- 「電子マニュアル評価ガイドラインに関する調査」（平成9年度）
内容については、基本的に「電子マニュアルの制作ガイドライン作成に関する調査」であげられた電子マニュアルの特徴を、平成3年度の「マニュアル評価ガイドラインの作成に関する調査」の考え方にしたがって再構成したものになっています。
電子マニュアルの個々の特徴を評価項目として、紙のマニュアル評価のために使用した枠組みに当てはめて評価ガイドラインを作るという考え方です。もちろん紙の評価ガイドラインをそのまま電子マニュアルに適用できる訳はありませんので、評価枠組み／評価項目に対しては十分な検討を行いました。
ただし、上記の評価ガイドラインは紙マニュアル用の評価ガイドラインが別にあることを前提としているので、紙マニュアルの評価ガイドラインですでに言及されている項目については、特に言及していません。
そのため、コンテスト用の評価基準としては、上記の2つの評価ガイドラインを適宜組み合わせ、統合したものを用いることとしました。
評価ガイドラインの枠組み
実際の評価のための枠組みとしては、上記「マニュアル評価ガイドラインの作成に関する調査」で使用した枠組みを使用します。この枠組みは、マニュアルを評価するにあたって、「イラスト」や「ライティング」といった制作者が考えがちな枠組み（制作要件）ではなく、「使いやすいか」、「探しやすいか」といった、ユーザーが実際にマニュアルに対して求めている要望を元にした枠組み（ユーザー要件）です。
要件の内容、数が適切かどうかについてはかなり議論もありましたが、最終的に以下のAからHまでの枠組みでまとまりました。
- A. わかりやすい：文字だけのわかりやすさだけでなく、マルチメディア素材をうまく活用することで、よりわかりやすい電子マニュアルにできます。
- B. 探しやすい：リンクやジャンプといった、電子マニュアルならではの検索性を活用することで、より探しやすい電子マニュアルにできます。
- C. 取り扱いやすい：紙と異なり、Easy to handleといった意味ではなく、Easy to operateという意味を持たせました。操作の自由度、操作性、検索性を確保することで、より取り扱いやすいマニュアルにできます。
- D. 正確である：最初から正確であるだけでなく、あとから情報を追加／更新できるということも電子マニュアルの特徴です。
- E. 役に立つ：実際の操作やサンプルを見せることもで、より役に立つマニュアルにできます。
- F. 魅力的である：マルチメディア素材をうまく活用することで、より魅力的な電子マニュアルにできます。
- G. ユーザー保護の観点がある：ディスプレイを見ることによるユーザーの負担をどれだけ考慮に入れているか、また障害者や高齢者への配慮をどれだけしているかが紙のマニュアル以上に問われます。
- H. 安心して使える：まだまだパソコンアレルギーのユーザーも多いという現状で、いかに安心して使えるように設計されているかがポイントです。操作を簡単にやり直せたり、簡単に初期設定に戻したりできると、より安心して使える電子マニュアルにできます。
採点方法
各評価枠組みごとに、数点の評価項目を設け、その評価項目ごとに審査員が評価を行います。
評価としては、以下の6段階＋無評価とします。
- A（100点）：特に優れている。技術的に工夫され、その効果が非常に高い。
- B（80点）：優れている。問題点はほとんどない。
- C（60点）：多少改善の余地はあるが、大体良い。
- D（40点）：やや劣る。効果的な技術を使った見直しが必要。
- E（20点）：かなり劣る。改善の余地が大いにある。
- F（0点）：抜本的な見直しが必要。
- N：無評価。その項目に対して評価を行うことが適当ではない場合。
A〜Cが＋評価、D〜Fが−評価となり、いわゆる50点評価は存在しません。評価基準は絶対評価とし、審査員がもつ「あるべき電子マニュアルの姿」のイメージと比べた評価となります。したがって、現在流通している電子マニュアルとしては優秀な部類であっても、厳しい評価が下される可能性があります。
一つのマニュアルを5人が評価し、各評価項目ごとに最高点と最低点を排除した3人の平均点が採用されます。なお、5人のうち3人以上が「N」評価をした場合は、その評価項目自体が評価不適当と見なされ、得点の計算から除外されます。
このようにして得られた評価項目ごとの得点を集計／平均することによって、その電子マニュアルの評価が決定されます。
お茶を濁すような番外編をお送りしましたが、いかがでしたか？
このような審査基準で電子マニュアルの評価を行った訳ですが、なにぶん机上案だったので実際に評価を始めるといろいろと問題も出てきて苦労しました。来年度からは個別の評価項目も、より現実に即した形に修正されるでしょう。なお、実際に使用した「電子マニュアル評価ガイドライン」はこちらから参照できます（HTML版とPDF版が用意されているようです）。
ところで実際の発表では、時間が押してしまった関係で質疑応答がまったくありませんでした。実際に発表にいらっしゃった方で「あれはどうなっているのか」というような感想をお持ちのかたは、ぜひお問い合わせいただければと思います。もちろんこの発表原稿を読むのが初めての方のご意見、ご感想も大歓迎です。
