回答の一貫性を担保する。社内文書を根拠にした返答の仕組み

同じ質問に対して、答える人によって違う答えが返ることがあります。
「その条件なら対応できます」と言う人と「それは難しいです」と言う人がいて、そのどちらも社外に出ています。
相手から「前に聞いたときと違う」と言われると、信頼を損なう場面になります。

ただ、社内文書を参照させてAIに回答を作らせれば、答えの一貫性を担保する設計は組めます。
品質を組織でそろえる全体像のほうはAIアウトプットの品質を組織でそろえる。標準化とレビュー体制にまとめてあります。

同じ質問でも、人によって違う答えが返ります

なぜ違うのでしょうか？
理由は3つあり、1つは正しい答えが文書になっていないことです。
各自が経験と記憶で答えている状態が、ここから生まれます。

次にあるのは、文書はあっても参照されない点です。
探すのに時間がかかるので、結局は記憶で答えることになってしまいます。
もうひとつは、判断が必要な質問に基準がない点です。
「その条件なら」という線引きが、人によって違ってきます。

この中でいちばん多いのは、文書があっても開かれていないケースです。
原因は、参照するコストの高さにあります。
規程を開いて該当箇所を探して確認するのに3分かかるなら、記憶で答えるほうが速くなります。
だから、対処は参照のコストを下げる方向になります。

社内文書を参照させて、AIに回答を作らせます

やることは、社内の文書を「参照先」にして質問への答えを作らせるというものです。
そのときに根拠を必ず付けさせます。
どの文書のどこに基づく答えなのかを、一緒に出させます。

効果は3つあり、1つは答えが揃う点です。
同じ文書を参照するので、答える人が違っても内容が一致します。
次に、確認できる点です。

根拠に戻って正しいかを検証できます。
もうひとつが、文書の不足が分かる点です。
答えられない質問が、そのまま「文書に書かれていないこと」を示します。
この中で最も価値があるのが、文書の不足が分かる点です。

経費の問い合わせで答えられなかった質問を3か月ぶん集めると、それが整備すべき文書のリストになります。
資料をもとに答えさせる仕組みの作り方はGemini Notebook（旧NotebookLM）の社内活用。部門の一次対応から全社に広げる進め方にまとめてあります。

参照させる文書は絞ります

すべての文書を参照させると、精度が落ちます。
絞る基準は3つあり、正式版のみ（下書き、検討中の案、個人のメモは入れない）、最新版のみ（過去の版を入れると古い内容で答えます）、該当する領域のみ（経費の質問に人事の規程を参照させても精度が落ちます）です。
また、経費、人事、製品情報、契約の条件というように、領域ごとに5〜10個の単位に分けます。
文書の数は少ないほうが精度が出るので、網羅性より正確性を優先します。

答えられない質問が出た時点で、文書を追加していきます。
最初から網羅しようとしないほうが、立ち上がりが速くなります。

FAQ文書を整備し、返信下書きから社外対応へ進めます

導入は、文書の整備から社外対応まで、段階を踏んで進めます。
最初は文書の整備で、よく来る質問について答えを文書にするところからです。
規程から網羅的には作りません。
現場でよく来ている質問から作ります。

規程を起点にすると、誰も聞かない質問の答えが大量にできてしまいます。
問い合わせの記録から抽出するか、担当者に「よく聞かれる質問を10個」と聞くのが早い方法です。
文書の形式は4項目あり、質問、答え（2〜3行）、根拠（規程の条項）、判断が必要な場合の相談先です。

判断が必要な質問には、判断の基準を書いておきます。
「金額が〇円以下なら対応可、それ以上は要相談」というようにです。

基準がないと、結局ここで答えが揃わなくなります。
20件なら2〜3週間で作れます。
規程から質問と答えを起こす作業そのものは規程やマニュアルからFAQを量産する。問い合わせ対応の元データ作りで扱っています。

文書が整ったら、問い合わせを受けたときに文書を参照して返信の下書きを作る形にします。
ただ、下書きまでで止めて自動送信にはしません。
理由は3つあります。
判断が必要な質問がある、相手との関係によって表現を変えたい、文書に書かれていない質問が来る、の3つです。

だから「参照した文書に該当する記述がない場合は、その旨を返す」ように指示に書いておきます。
その質問を記録しておくと、そのまま文書の追加リストになります。
下書きに入れるのは答え、根拠、確認が必要な点の3つです。
確認が必要な点を明示すると、確認が飛ばされなくなります。

社外への回答に広げる段階では、社内向けの答えをそのまま出しません。
変換が必要なのは3つです。
根拠の表示を消す（社内の規程の条項番号を外に出さない）、内部の判断の理由を消す、表現を社外向けに整える、というものです。

人の確認は必ず残して、社内の情報が残っていないか、約束の記述が実際と合っているか、未確定が確定として書かれていないか、の3観点で見ます。
社外向けの変換そのものは社内情報を外に漏らさない変換。社外向け文面の自動生成ルールにまとめてあります。

メール対応全体の標準化はメール対応の品質と速度を組織でそろえる。返信・要約の標準化にまとめてあります。

根拠は更新し続け、答えられない質問も記録します

運用の設計としては、ここが最も重要になります。
文書が古くなると、古い答えが返り続けます。
「もっともらしく古い」答えは、答えないことより危険です。
やることは3つあり、規程の改訂の手続きに「参照先の更新」を1項目として入れる（公布・周知・参照先の更新という並びにする）、根拠の条項で紐付ける（改訂された条項に紐づく答えを特定できます）、更新のオーナーを領域ごとにその領域を所管する部門に決める、というものです。

四半期に一度、よく来る質問10件で検証します。
返ってくる答えが正しいかを担当部門が確認して、前回と違う答えが返った質問は記録しておきます。

文書が変わったのか、精度の問題なのかを切り分ける材料になります。
鮮度の管理そのものは古い情報で答えるAIを作らない。社内ナレッジの更新体制のつくり方にまとめてあります。

答えられない質問が来る前提で、設計に組み込みます。
「該当する記述がない場合は『該当する記述が見つかりません』と答えてください。推測で答えないでください」という1行を指示に入れます。
答えられなかった質問の一覧を作っておきます。

この一覧は3つの意味を持ち、文書の追加のリスト、判断が必要な質問のリスト、質問の傾向が見える点の3つです。
この中で判断が必要な質問を区別するのが重要で、すべてを文書化しようとすると判断そのものを文書に押し込んでしまいます。
判断が必要な質問には、答えではなく相談先を返す形にします。

つまずきやすいのは、次の7つです。
すべての文書を参照させる、規程から網羅的に文書を作る、判断の基準を書かない、自動送信にする、社内向けの答えをそのまま社外に出す、規程の改訂の手続きに参照先の更新を入れない、答えられない質問を記録しない。
どれも、正式版と最新版に絞って、実際に来ている質問から作って、基準を書いて、下書きで止めて、変換の工程を入れて、改訂の手続きに1項目足して、一覧を作れば避けられます。

根拠文書とボットは、全社で1つに保ちます

ここまで書いてきたとおり、根拠を参照して答えさせる仕組みそのものは組めます。
難しいのは、それを全社で同じものが使われる状態にできるかのほうです。
部門ごとに作ると、答えが揃いません。
経費の質問に、営業部が作ったものと総務が作ったものが違う答えを返すようだと、一貫性を担保するという目的そのものが失われます。

各部門がコピーを持っていると、規程が改訂されても片方だけが更新される状態になり、更新も反映されません。
新しく入った人には、そもそも届いていません。
配布物として配ったものは、後から入った人には伝わらないからです。
必要なのは、根拠文書とボットを1箇所に置いて、更新すれば全員に反映される構成です。

そのうえで、領域別に探せる状態にしておきます。
当社の組織のAIポータル「AI Portalize」では、規程を参照するAIボットやGemini Notebookを登録すると全社に公開されるので、部門ごとにコピーを持たずに同じものを使えます。
作ったものの部門ごとに答えが違う、という状態で止まっている場合は、考え方の参考になるかもしれません。

答えを揃えるのは、根拠を1つにそろえるところからです

同じ質問に違う答えが返るのは、正しい答えが文書になっていない、文書があっても参照されない、判断の基準がない、この3つが原因です。
いちばん多いのは、文書があっても参照されないことで、参照するコストの高さがその理由になります。
対処は社内の文書を参照させて、「根拠」を必ず付けることです。
効果は、答えが揃う、確認できる、文書の不足が分かるの3つです。

参照させる文書は絞り、正式版のみ、最新版のみ、該当する領域のみで、5〜10個の単位に分けて網羅性より正確性を優先します。
進め方は3フェーズあり、実際に来ている質問20件から文書を作り（4項目、判断が必要な質問には基準を書く）、返信の下書きを自動生成し（下書きまでで止める、該当する記述がなければその旨を返す、確認が必要な点を明示する）、社外対応に広げます（変換の工程を入れて、人の確認を残す）。
更新は、規程の改訂の手続きに「参照先の更新」を1項目として入れて、根拠の条項で紐付け、領域ごとにオーナーを決めます。

四半期に一度、よく来る質問10件で検証します。
そして、答えられない質問の一覧を作ります。
文書の追加のリスト、判断が必要な質問のリスト（文書化せず相談先を返す）、質問の傾向、この3つに使えるからです。

自部門でよく聞かれる質問10件について、答えと根拠を文書にしてみると、答えのばらつきは減っていきます。