AIアウトプットの品質を組織でそろえる。標準化とレビュー体制

AIの利用が社内に広がってくると、次にこういう相談が来ます。

「使われるようになったのはいいが、出てくるものの質がバラバラで」。
同じ依頼をしても、人によって出てくる長さも粒度も形式も違います。
読む側は毎回どこを見ればいいのか探すことになって、結局チェックの手間のほうが増えていきます。

この記事では、AIアウトプットの品質を組織でそろえるための標準化とレビュー体制を整理していきます。

シリーズの段階8にあたる回です。
全体の順番を先に見たい場合は、AI推進の進め方。組織にAIを定着させる10の段階と着手順から読んでいただくとつながりが見えます。

品質のばらつきは「個人の能力差」ではない

まず前提を1つ変えたいところで、成果物の質がバラバラなのは使う人のスキル差というより、指示の型が配られていないことが原因です。
例えば同じ議事録の作成を頼んでも、ある人は要点を3行で、別の人は発言をそのまま並べて出してきます。
使っているAIは同じで、違うのは何をどう出してほしいかが伝わっていたかどうかだけです。
つまり打つべき手は教育ではなく、型の配布のほうになります。

品質を上げるのではなく、そろえるという発想に切り替えるということです。

打ち手は3つだけ

では、何をすればそろうのでしょうか？
やることは3つだけです。
成果物のフォーマットを先に決めること、プロンプトの作法を全社共通で配ること、提出前のレビュー工程を1つ足すこと。

この3つで、ばらつきの大半は収まります。
順に見ていきます。

① フォーマットを先に決める

いちばん効くのに、いちばん抜けているのがこれです。
形式を決めずに依頼すると、出てきたものを見てから「表にして」「もっと短く」と直す往復が発生します。
1回あたりは数分でも、それが全社で毎日起きていると相当な時間になります。
依頼の時点で出力形式を指定するだけで、この往復は消えます。

よく使う形式は4つ程度に収まります。
比較する情報は表、手順は番号付きリスト、報告は結論先出しの文章、判断材料は3案の並列。
この4つを部門別のテンプレート集にして配ります。

決め方そのものは成果物のフォーマットを先に決める。指示のばらつきを構造でなくす、表の形で出させるときの注意点は一覧や数値の出力を信頼できる形にする。AIの表出力の作法で扱っています。

文書の分量も規格にします。
報告書は800字、議事録は1200字、といった目安を決めます。
長い報告書は読まれないので、読み手の時間を守るのも品質の一部です。
分量の決め方は報告書・議事録の分量を規格化する。読み手の時間を守るにまとめてあります。

② プロンプトの作法を配る

型を配るときのコツは、7つ以内に絞ることです。
20項目のプロンプト集は誰も覚えないからです。

絞った7つの中身は全社共通のプロンプト作法を決める。押さえるべき7つの基本で個別に書いています。
押さえるべき基本は限られています。
役割と前提を与える、出力形式を指定する、段階に分けて考えさせる、参照してよい情報を限定する、分からないときは分からないと言わせる、複数案を出させて選ぶ、否定形で指示しない。
この7つです。

最後の点は意外に効きます。
例えば「専門用語を使わないで」より「中学生にも分かる言葉で」のほうが通ります。
禁止事項を並べるより、望む状態を書く。
この言い換えを教えるだけで現場の結果が変わります。

「〜しないで」が精度を下げる。伝わる指示の書き方を教育に組み込むで一本にして扱っています。

作法はA4 1枚のカードにして、勉強会で1回演習してから配ります。
読ませるだけでは、まず定着しません。

作法とは別に、うまくいったプロンプトそのものを社内に配るときに添える項目と更新担当の決め方は、プロンプトを社内で共有する方法。共有する項目と更新担当の決め方で扱っています。

③ 提出前レビューを工程にする

3つのうち、最も効果が大きいのがこれです。
やること自体は単純で、出す前にAIにもう一度見せるだけです。

例えば「この文章を読み手の立場で確認して、分かりにくい箇所と根拠が弱い箇所を指摘して」と投げます。
作った本人が読み返すより、抜けが見つかります。
重要なのは、これを個人の心がけにしないことです。

「気をつけましょう」では実行されないので、業務フローの中に「提出前チェック」という工程を置いて、チェック観点を固定します。
工程そのものの組み方は校正・チェック工程を標準化する。誤字から論理矛盾・数値照合までで扱っています。

観点は3つで足ります。
事実が確認できているか、読み手が知りたい順に並んでいるか、そのまま出せる形式になっているか。
この3つを定型の文言にしておけば、誰がやっても同じ確認になります。

数値と固有名詞は別扱いにする

品質の話でひとつ切り分けておきたいのが、事実の正しさです。
形式や読みやすさは型で解決できますが、事実は型では直りません。
もっともらしい数字や存在しない固有名詞が、整った文章の中にそのまま混ざってくるからです。
だから運用としては、数値・固有名詞・日付は必ず一次情報で確認するという一文をルールに入れます。

そのうえで、出典が示されるツールを標準にしておくと確認のコストが下がります。
確認そのものを短時間で回す型はAIの回答をファクトチェックする5分の型。全社の標準動作にするにまとめてあります。

「AIの回答は完成品ではなく下書きである」という前提を、組織の合言葉として共有しておくのが最も効くと思います。

レビューを誰がどの頻度で回すか

工程を置いても、担当が決まっていなければ動きません。
基本は、部門内の持ち回りにするのが現実的です。
推進チームが全部を見ようとすると詰まりますし、部門の実務を知らないままの指摘は的を外します。
同じ部門の誰かが1回通す形がいちばん軽くなります。

頻度は成果物の種類で分けます。
社外に出るものは毎回、社内で完結するものは月1回の抜き取りで十分です。

とはいえ全部を毎回見ようとすると、レビューそのものが省略されるようになります。

浸透したかを測る

測る指標は2つで足ります。
1つが、テンプレートの利用率です。
配ったフォーマットが実際に使われているかを、部門ごとに何本の成果物がテンプレート経由で作られたかで数えます。

もうひとつが、差し戻しの回数です。
提出したあとに直しが入った回数が減っていれば、型が効いている証拠です。
逆にどちらも動かない場合は、型の中身ではなく配り方のほうを見直したほうが早いです。

よくある失敗

まず、教育だけで解決しようとするケースです。
研修をいくら増やしても、型が配られていなければ現場は再現できません。

次に多いのが、型を作りすぎるケースです。
部門ごとに何十枚もテンプレートを用意すると、探す時間のほうが長くなって使われなくなります。
主要な業務3つ分に絞るくらいでちょうどいいです。

もうひとつが、全成果物に人のレビューを課すケースです。
そうするとレビューが詰まって、結果的にチェックなしで出るものが増えてしまいます。

見本を1つ置くのが、いちばん速い伝え方

型を配るときに、文章で基準を説明してもなかなか伝わりません。
「結論を先に書く」「粒度をそろえる」と書いても、読んだ人の解釈は分かれてしまうからです。
そのため、基準を説明するより良い成果物を1つ見せるほうが速いです。

例えば「この報告書と同じ形で書いて」と渡せば、結論の位置も見出しの粒度も一度に伝わります。
見本は既にある社内の成果物から選びます。
新しく作らなくてよくて、過去に評価が高かったものを1つ選んで「これが基準です」と置くだけです。

部門ごとに主要な業務3つ分の見本を置けば、指示の型と合わせて品質はかなりそろいます。
見本を置くと、基準を議論せずに更新できるという利点もあります。
もっと良いものが出てきたら差し替えるだけで、文章のルールを書き換えるより手間がかかりません。

対外文書は別ルートを通す

品質の話でもう1つ切り分けたいのが、社内向けと社外向けを同じ扱いにしないことです。
社内向けなら多少粗くても、読む人が文脈を補って読んでくれます。

とはいえ社外に出るものは、誤りがそのまま会社の信用に返ってくるので、同じ基準では足りません。
だから対外文書だけは、チェック観点を増やして人の確認を必須にします。
追加するのは、機密情報が混ざっていないか、表現が誤解を招かないか、固有名詞と数値が一次情報と一致しているか、の3点です。

この3つを、作成者以外が見る形にします。
作った本人には、自分の文章の粗が見えないからです。
同じ部門の誰かが1回通すだけで、社外に出るリスクは大きく下がります。

対外文章そのものの基準は「AIが書いた感」を組織として許容しない。対外文章の品質基準を決める、複数の目を通す工程は公開前レビューを複数の目で行う。ペルソナ別レビューを工程に入れるで扱っています。

対外文書の確認を工程として置いておくと、社外に出す判断そのものが軽くなります。
毎回悩まずに、決まった手順を通せば出せるという状態にしておくのが目的です。

品質基準は「業務フローに組み込む」段階が難所

ここまで書いてきたとおり、この段階でやることはフォーマット・作法・レビュー工程の3点です。
作ること自体は難しくありません。
難所は、それを既存の業務フローに組み込むことです。

誰が、どのタイミングで、何を確認するか。
ここは部門ごとの実務に踏み込む必要があり、社内だけだと「ルールはできたが運用されていない」状態になりがちです。

私たちが提供しているデジタル系企業向けのAI導入支援でも、成果物の型づくりからレビュー工程の組み込みまで、現場の業務フローに合わせて一緒に設計しています。
ルールは作ったが回っていない、という状態で止まっている場合は、進め方の参考になるかもしれません。

そろえる打ち手のうち、いちばん効くのはレビュー工程

成果物のばらつきは個人の能力差ではなく、型が配られていないことが原因です。
だから打ち手は、質を上げることではなくそろえることになります。
フォーマットを先に決め、プロンプトの作法を7つ以内で配り、提出前レビューを工程として1つ足す。
数値・固有名詞・日付は必ず一次情報で確認するというルールも入れます。

いちばん費用対効果が高いのは3番目です。

まずは「出す前にAIに一度見せる」を、1つの業務フローに組み込めるか試してみてください。

このテーマのほかの記事は、組織のAI推進ノウハウの記事一覧にまとめています。