膨大なデータを扱う際の中間データ作成と精度向上のアプローチ

社内データを読み込ませてカスタムAIを作るとき、とりあえず手元の関連ファイルを全部入れるという進め方になりがちです。
処理できる情報量は年々増えているので、一見それで通りそうに見えます。

ただ、実際に大量のファイルを放り込むと、情報の欠損やハルシネーションが起きます。
しかも厄介なことに、「それっぽい答え」が返ってくるので間違いに気づきにくいです。

今回は、未加工のデータを全投入したときに起きる失敗と、その解決策になる中間データの作り方について書いていきます。
社内ナレッジ全体の設計は社内ナレッジをAIで活用する方法。ツール導入・RAG・手持ちのAIの選び方にまとめてあります。

全部入れると起きる3つの失敗

手元のデータをそのまま投げ込むと、どういう不具合が出るのでしょうか？
プロンプトで抑えられる部分もありますが、限界があります。

まず、情報の新旧を判断できずに古い内容を拾うケースです。
過去半年分の商談の文字起こしを読み込ませたとして、その期間に仕様変更があった場合、日付の情報が明確でないとAIは新旧の区別をつけられません。
結果として、今はもう存在しない機能の説明を、最新の正解として出力してきます。

日付を持たせるだけで防げることも多いのですが、社内文書は作成日が本文に書かれていないものが大半です。
ファイル名の日付が更新日と一致していないケースもあり、ここを信じて設計すると足をすくわれます。

次が、情報量が多すぎて重要な部分を見落とす欠損です。
1,000記事分のデータから該当する事例を抜き出すよう指示したとして、条件に合うものが10件あっても、7件しか返ってこないことがあります。
一度に注意を向けられる範囲には限りがあるからです。
しかも、抜けた3件があることは出力を見ても分かりません。

対策として件数を先に答えさせるという手もあります。
該当は何件あるかを聞いてから中身を出させると、数が合わないことに気づける場面が増えます。
量が多いと感じたら、分割するほうが確実です。

もうひとつが、ノイズに引っ張られるケースです。
数千件の資料を読ませると、質問と文脈は似ているのに事実としては違う記述が含まれる確率が上がります。
マニュアルに書かれた正しい手順より、「とりあえずこれで回避した」という日報の雑な回避策のほうを関連度が高いと判断してしまう。
データ量が増えるほど、この紛らわしさに当たるリスクが高まります。

中間データは探しやすい形への変換で作る

探しにくい形式のまま読ませて、AIは答えを出せるのでしょうか？
そこで必要になるのが、一発で答えを出そうとせず、AIが読みやすい形の中間データを先に作るプロセスです。
商談の文字起こしからFAQボットを作るケースで考えてみます。

文字起こしはそのままだとノイズが多いので、まず質問と回答の表という形に変換します。
ここでやっているのは、探しにくい形式から探しやすい形式への変換です。

変換の指示を書くときは、出力の列をこちらで決めておくのがコツです。
「質問」「回答」「日付」「出典」「担当者」。
この形を先に指定しておくと、後から統合するときに手作業が発生しません。
列を決めずに要約してと頼むと、ファイルごとに違う形で返ってきて、結局そこを整えることになります。

データが膨大で一度に処理しきれない場合は、分割してから変換します。
月ごと、案件ごと、部署ごとといった単位で区切って、それぞれから質問と回答を抜き出し、最後に1つの表に統合する。
この手順なら、量による見落としをかなり防げます。

分割の単位をどう切るかは、それ自体が設計の論点になります。
考え方は社内AIの「単位」をどう切るか。ナレッジ分割を決める3つの軸、ファイルが大きすぎる場合の実務はファイルが大きくてAIに読めない。分割の作法を社内標準にするで扱っています。

中間データには日付と出典を必ず持たせておきます。
ここがあるだけで、新旧の取り違えはかなり減ります。
古い情報を返し続ける状態を防ぐ運用は古い情報で答えるAIを作らない。社内ナレッジの更新体制のつくり方に整理してあります。

中間データは人の目を通してから使う

AIが抽出した表は、そのまま正解として使えるのでしょうか？
ここが一番大事な部分です。
AIが抽出した質問と回答の表は、そのまま正解として使えるものではありません。
商談で実際に話した回答が、必ずしも成約率を高める回答とは限らないからです。

その場しのぎで答えたもの、担当者の理解が浅いまま返したもの、相手によっては誤解を生む言い方も混ざっています。
「全部確認しないと不安」を手放すのが、確認の負荷を下げるコツです。
よく聞かれる質問から順に並べておいて、上位の数十件だけ丁寧に直す。
残りは運用しながら直していけば、着手のハードルが下がります。

また、抽出した中間データは、成果を出している担当者が見て調整する工程を挟みます。
「この回答でお客様の懸念が解けるか」という視点で直していきます。
ここでもAIを使って、回答案を複数出させて人が選ぶ形にすると、作業はかなり軽くなります。
「このひと手間」を惜しむかどうかで、完成したボットの質が決まります。

逆に言うと、中間データさえ整っていれば、そのあとの仕組みは素直に動きます。
事実確認を組織の型にする話はAIの回答をファクトチェックする5分の型。全社の標準動作にするが参考になります。

中間データを作る基準は固定しなくていい

基準は、最初にきっちり決めておくべきなのでしょうか？
どの程度のデータ量から中間データを作るべきか、決めたくなりますが、ここは固定しないほうがいいです。
AIの性能は変わり続けているからです。

以前は分割が必要だった量でも、今のモデルなら一度に処理できることがあります。
最初から中間データを作らなければならない、と決めつける必要はありません。
現実的な進め方は、「まずそのまま試してみる」ことです。

試すときは、答えが分かっている質問を5つほど用意しておくと判断が速くなります。
感覚で精度を測ろうとすると、良さそうに見える出力に引きずられます。
正解を知っている質問に対して外したかどうかは、誰が見ても同じ判断になります。

精度が微妙だと感じた時点で、分割して中間データを作る対策を打てば十分間に合います。
最初から作り込むと、不要だった工程に時間を使うことになります。

逆に、社内の下書きや叩き台を作る用途なら、多少の取りこぼしは人が補えます。
そこに時間をかけて中間データを整えるより、使いながら気になった箇所を直していくほうが早く回ります。
一方で、最初から高い精度が求められる業務では、テストを飛ばして中間データ前提で設計するのも手です。
判断基準としては、間違った出力が出たときに誰かが困るかどうかで考えると分かりやすいです。

段階処理を引き出しとして持っておく

精度が出ないとき、次に何を試せばいいのでしょうか？
結局のところ大事なのは、段階処理を挟むという引き出しを持っておくことです。
段階の挟み方には、いくつか型があります。

要約してから答えさせる、分類してから抽出させる、候補を出させてから絞らせる。
どれも、一度の処理で求めることを減らしているだけです。
難しい技術ではなく、頼み方の順番を変えているにすぎません。

この引き出しがないと、一度うまくいかなかった時点で、AIは使えないという結論になって終わります。
実際には、一発で無理なら途中に処理を挟めばいい、というだけの話であることが多いです。

現場に伝えるときは、手順として配るのが早いです。
「精度が出ないときに試す3つの手」という形で1枚にまとめておけば、相談のたびに同じ説明をしなくて済みます。
組織として推進する立場で言うと、この引き出しを推進チームだけが持っていても足りません。

現場が自分で段階を分けられるようになると、相談が来る前に解決するケースが増えます。
段階処理を現場の標準手順にしていく方法はAIの精度が低いと言われる前に。段階処理を現場の標準手順にするにまとめてあります。

段階を分ける手順を現場に広げるところは、私たちのAI伴走支援でも社内研修の題材として扱い、現場の担当者と一緒に日々の業務で試しながら進めています。

全部入れず、中間データを挟むと精度が安定する

未加工のデータを全部入れると、古い情報を拾う、一部を見落とす、ノイズに引っ張られる、という3つが起きます。
どれも出力を見ただけでは気づきにくいのが厄介なところです。
対策は、答えを一発で出させず、中間データを先に作ることです。
探しにくい形式から探しやすい形式へ変換し、量が多ければ分割してから統合します。

日付と出典は必ず持たせます。
そして、中間データは人の目を通します。
抽出された内容は事実ではあっても、最良の回答とは限りません。

中間データを作ったあとは、それ自体を管理対象として扱います。
元データが更新されたときに作り直す担当を決めておかないと、整えたはずの表が半年後には古い内容の塊になります。
作成日と元ファイルの範囲を一緒に記録しておくと、作り直しの判断が機械的にできます。

どこまでやるかは固定しなくて構いません。
まずそのまま試して、精度が足りなければ段階を挟みます。
手元のカスタムAIが返す答えの根拠が、どのファイルのいつの記述かまで示せていれば、精度への疑いはそこでほどけます。