今回は番外編です。
先日開催されたTCシンポジウムの発表「はじめて開催された電子マニュアルコンテスト」のうち、当研究所の所長が発表を担当した「電子マニュアルコンテストの審査基準」の原稿をお届けしようと思います。先に公開した発表資料（PDFファイル、約96KB）と合わせてご覧いただくことをお勧めいたします。
高額な参加費を払って参加された方に申し訳ないので、今回の内容は発表原稿の元原稿とします。実際の発表はこの原稿に加えてその場のアドリブで追加／補強しておりますので、実際にお聞きになられた方にも損はないと思います。
今回の評価基準は、「電子マニュアル評価ガイドラインに関する調査報告書」の内容を、コンテスト向きに修正を加えたものです。この発表では、コンテストの評価基準の原形である評価ガイドラインの考え方についてご説明しようと思います。
まず「電子マニュアル評価ガイドラインに関する調査報告書」ですが、これがどういうものかについてご説明する必要があります。財団法人ニューメディア開発協会からテクニカルコミュニケーター協会に依託された、電子マニュアルに関する調査研究プロジェクトの成果です。電子マニュアルに関する調査研究プロジェクトは、ここまで以下のように進んでいます。
内容については、基本的に「電子マニュアルの制作ガイドライン作成に関する調査」であげられた電子マニュアルの特徴を、平成3年度の「マニュアル評価ガイドラインの作成に関する調査」の考え方にしたがって再構成したものになっています。
電子マニュアルの個々の特徴を評価項目として、紙のマニュアル評価のために使用した枠組みに当てはめて評価ガイドラインを作るという考え方です。もちろん紙の評価ガイドラインをそのまま電子マニュアルに適用できる訳はありませんので、評価枠組み／評価項目に対しては十分な検討を行いました。
ただし、上記の評価ガイドラインは紙マニュアル用の評価ガイドラインが別にあることを前提としているので、紙マニュアルの評価ガイドラインですでに言及されている項目については、特に言及していません。
そのため、コンテスト用の評価基準としては、上記の2つの評価ガイドラインを適宜組み合わせ、統合したものを用いることとしました。
実際の評価のための枠組みとしては、上記「マニュアル評価ガイドラインの作成に関する調査」で使用した枠組みを使用します。この枠組みは、マニュアルを評価するにあたって、「イラスト」や「ライティング」といった制作者が考えがちな枠組み（制作要件）ではなく、「使いやすいか」、「探しやすいか」といった、ユーザーが実際にマニュアルに対して求めている要望を元にした枠組み（ユーザー要件）です。
要件の内容、数が適切かどうかについてはかなり議論もありましたが、最終的に以下のAからHまでの枠組みでまとまりました。
各評価枠組みごとに、数点の評価項目を設け、その評価項目ごとに審査員が評価を行います。
評価としては、以下の6段階＋無評価とします。
A〜Cが＋評価、D〜Fが−評価となり、いわゆる50点評価は存在しません。評価基準は絶対評価とし、審査員がもつ「あるべき電子マニュアルの姿」のイメージと比べた評価となります。したがって、現在流通している電子マニュアルとしては優秀な部類であっても、厳しい評価が下される可能性があります。
一つのマニュアルを5人が評価し、各評価項目ごとに最高点と最低点を排除した3人の平均点が採用されます。なお、5人のうち3人以上が「N」評価をした場合は、その評価項目自体が評価不適当と見なされ、得点の計算から除外されます。
このようにして得られた評価項目ごとの得点を集計／平均することによって、その電子マニュアルの評価が決定されます。
お茶を濁すような番外編をお送りしましたが、いかがでしたか？
このような審査基準で電子マニュアルの評価を行った訳ですが、なにぶん机上案だったので実際に評価を始めるといろいろと問題も出てきて苦労しました。来年度からは個別の評価項目も、より現実に即した形に修正されるでしょう。なお、実際に使用した「電子マニュアル評価ガイドライン」はこちらから参照できます（HTML版とPDF版が用意されているようです）。
ところで実際の発表では、時間が押してしまった関係で質疑応答がまったくありませんでした。実際に発表にいらっしゃった方で「あれはどうなっているのか」というような感想をお持ちのかたは、ぜひお問い合わせいただければと思います。もちろんこの発表原稿を読むのが初めての方のご意見、ご感想も大歓迎です。
研究発表