組織のAI活用をAIポータルと伴走支援で加速

AIのハルシネーション対策。起きやすい4つの場面と組織のチェック体制

AIのハルシネーション対策。起きやすい4つの場面と組織のチェック体制

執筆:寺田昇平

AI Portalize株式会社 代表取締役/AI Digital Community 代表理事

仕組みとコンサルティング伴走支援の両面で、組織のAI活用の加速を支援。

業務でAIを使う場面が広がるほど、「AIが自信満々に間違えることがあって怖い」という声が出てきます。

ハルシネーションと呼ばれる、AI活用における代表的なリスクです。
これを個人の注意深さに任せておくと、いずれ事故が起きます。
組織として前提を共有して、チェックの仕組みに落とし込んでおくことが必要です。

今回は、ハルシネーションと組織としてどう向き合い、どんなチェック体制を敷くかを書いていきます。
ナレッジ基盤全体の設計は社内ナレッジをAIで活用する方法。ツール導入・RAG・手持ちのAIの選び方にまとめてあります。

AIの使い方を、ハルシネーションが起きやすい4つの場面と、確認を軽くしてよい3つの使い方に分けた図。起きやすいのは統計データ、最新の制度情報、ニッチな専門分野、事例の要求。言い回しを整える、構成案を出す、要点をまとめ直すは、元の情報が手元にあるので事実を作り出す余地がない

AIは、事実と違うことを自信満々に答える

ハルシネーションとは、AIが事実と異なる情報を自信を持って回答してしまう現象です。
現れ方はいくつかあります。
存在しない論文や書籍を挙げる、実在しないURLや企業情報を作り出す、形式は正しいのに数値や日付が違う。
どれも見た目には自然で、疑って読まないと気づけないのが厄介なところです。

なぜ起きるのでしょうか?
AIは情報の真偽を判断しているわけではないからです。
学習した内容をもとに、次に来る可能性が高い言葉を選んでいます。
その結果として、もっともらしいけれど事実ではない文章ができあがります。

つまり、「AIはもっともらしい嘘をつくことがある」という前提を全員が持つことが、組織でAIを使ううえでの大原則になります。
社内の資料に載せる一文としては、「AIは知らないことを知らないと答えるとは限らない」という書き方が伝わりやすいです。

人であれば「わかりません」と言いますが、そこが違うという説明をしておくと、警戒のポイントが具体的になります。
この説明は、導入時の研修に必ず入れておきます。

仕組みを知らないまま使い始めると、間違いに出会ったときに「AIは使えない」という結論に飛びます。
そういうものだとわかっていれば、確認する手順のほうへ意識が向きます。

もうひとつ伝えておきたいのが、同じ質問を繰り返すと答えが変わることがある点です。
毎回同じ結果が返るシステムに慣れていると、この挙動自体が不具合に見えます。
ただ、そういう性質のものだとわかっていれば、大事な判断のときに2回聞いて見比べるという確認のしかたも思いつくようになります。

統計や時事、ニッチな情報を聞くと起きやすい

リスクの高い場面をあらかじめ共有しておくと、現場の警戒が自然に働きます。
起きやすいのは4つの領域です。
具体的な統計データを聞いたとき、最新の法改正や制度変更を尋ねたとき、あまり知られていない専門分野や規模の小さい企業の情報を求めたとき、また「〇〇の事例を教えて」という形の質問をしたときです。

最後の事例要求は特に注意が要ります。
存在しない企業名と、それらしい導入効果の数字がセットで返ってくることがあります。
そのまま提案資料に載せると、確認された時点で信用を失います。

同じ理由で、社内の過去実績を聞く使い方も危なくなります。
読み込ませた資料に書かれていない案件について聞くと、他社の一般的な事例をもとに、それらしい内容を組み立てて返してくることがあります。
「社内の情報だから安全」とはならない点は共有しておきたいところです。

数値の扱いについては、そもそも計算をAIにさせないと決めておく方法も有効です。
考え方はAIに計算させない。数字を扱う業務での役割分担を組織ルールにするで扱っています。

この手の質問はうのみにしない。
その共通認識を持つだけでも、事故はかなり防げます。

逆に言うと、リスクの低い場面まで同じ警戒度で確認していると、確認作業だけで時間が溶けます。
どこを見るべきかの濃淡が大事です。
警戒しすぎなくてよい場面も、あわせて伝えておくと運用が軽くなります。

文章の言い回しを整える、構成案を複数出す、要点をまとめ直す。
こうした使い方は元の情報が手元にあるので、事実を作り出す余地がそもそもありません。
ここまで毎回確認していると、使うこと自体が負担になってしまいます。

最終的に検証するのは、いつも人

対策の基本は、最終的な検証を人が担う仕組みをつくる点です。
ここで言う「仕組みにする」は、「気をつけましょう」の呼びかけでは終わらせません。
どの成果物について、誰が、何を確認するのかを決めておきます。
対象を決めるときは、間違いが外に出たときの影響で考えると整理しやすいです。

社外に出る資料、金額に関わる判断、法務や人事に関する内容。
この3つは確認を必須にして、社内の下書きや発想出しは本人の判断に任せます。
この程度の切り分けで、現場の負荷と安全性のバランスが取れます。

具体的には、社外に出る数値と固有名詞は必ず一次情報で確認する、といった形です。
確認の対象を絞っておくと、現場も実行できます。
「全部を確認してください」と言うと、誰も守らない運用になります。

確認を必須にするものと、本人の判断に任せるものを分けた図。間違いが外に出たときの影響が大きい、社外に出る資料、金額に関わる判断、法務や人事に関する内容は確認を必須にする。社内の下書きや発想出しは本人の判断に任せる

確認の手順そのものを型として配る方法はAIの回答をファクトチェックする5分の型。全社の標準動作にするに整理してあります。

統計や時事の質問に出る誤りは、実際に自分の資料と見比べると気づきやすくなります。その練習には、AIの誤りを自分の業務の資料で確かめるAIリテラシー研修があります。

出典が出るツールを標準にすると、確認が楽になる

組織として効きやすいのが、引用元が明示されるツールを標準にする運用です。
出典のURLを添えて回答してくれるツールを使えば、確認の作業が一段楽になります。
URLが実在するか、そのページの内容と回答が一致しているか。
この2点を見るだけで、チェックの精度が大きく上がります。

ツールを標準にするときは、用途ごとに指定しておくと迷いません。
調べ物には出典が出るもの、社内のルールを聞くには資料を限定したもの、下書きの作成には汎用のもの。
この対応表を1枚配っておくだけで、危ない使い方がかなり減ります。

用途ごとに標準にするツールの対応表。調べ物には出典が出るもの、社内のルールを聞くには資料を限定したもの、下書きの作成には汎用のもの。出典が出るツールでは、URLが実在するかと、ページの内容と回答が一致しているかの2点を見る

もうひとつ有効なのが、根拠にする文書を限定して答えさせるやり方です。
読み込ませた資料の中からしか答えないツールを使えば、外部の曖昧な情報が混ざりません。
具体的な作り方はGemini Notebook(旧NotebookLM)の社内活用。部門の一次対応から全社に広げる進め方で扱っています。

指示の書き方でも減らせます。
「わからない場合はわからないと答えてください」と明示しておくだけで、無理に答えを作る挙動がかなり抑えられます。
この一文を社内の標準の指示に入れておくのは、費用ゼロで効く対策です。

長い資料を一度に読ませると精度が落ちる点も知っておきたいところです。
情報量を減らしてから渡す設計は膨大なデータを扱う際の中間データ作成と精度向上のアプローチ、処理を分ける考え方はAIの精度が低いと言われる前に。段階処理を現場の標準手順にするにまとめてあります。

確認する人を分けておくのも効きます。
作った本人は、自分が書いた内容を正しいものとして読んでしまいがちです。
数値や固有名詞のチェックだけでも別の人が見る形にしておくと、見落としの確率が下がります。

「回答は仮説であり下書き」を、組織の合言葉にする

ハルシネーションはAI全般に存在するリスクですが、仕組みを理解して対策すれば、業務への影響はかなり小さくできます。
鍵になるのは、「AIの回答は完成品ではなく、仮説であり下書きである」という受け止め方を組織で共有することです。
この言い方を合言葉にしておくと、確認する行為が特別ではなくなります。

運用としては、間違いを見つけた人が気軽に共有できる場も作っておきます。
「こういう質問でこう間違えた」という情報が溜まると、警戒すべき領域が具体的にわかってきます。

共有された内容は、そのまま研修の材料にもなります。
一般論として「危ない」と言われるより、自社で実際に起きた間違いを見せられるほうが、現場の受け止め方はまったく違ってきます。

推進側としては、この報告が上がってくる頻度を健全さの指標として見ることもできます。
まったく報告が来ない組織は、うまく使えているのではなく、確認されていないだけかもしれません。
そして、間違いを見つけた人を責めない空気も大事です。

AIが間違えること自体は想定内であって、問題なのはそれが確認されずに外に出ることのほうです。
ここを切り分けて伝えておくと、報告が上がってきやすくなります。

AIの間違いを組織で共有する繰り返しを示した図。間違いを見つけた人が責められずに共有し、こういう質問でこう間違えたという事例が溜まり、警戒すべき領域が具体的になって研修の材料にもなる。報告が上がる頻度は健全さの指標で、まったく報告が来ない組織は確認されていないだけかもしれない

私たちのAI伴走支援では、こうした確認の体制づくりや社内研修を、現場の担当者と一緒に手を動かしながら進めています。

起きやすい4つの場面を知れば、確認の手間は最小で済む

ハルシネーションは、AIが事実と異なる情報を自信を持って返してくる現象です。
真偽を判断しているのではなく、それらしい言葉を選んでいるために起きます。

起きやすいのは、統計データ、最新の制度情報、ニッチな専門分野、また事例の要求です。
この4つは特に確認する。
その共通認識を持っておきます。

対策の基本は、最終的な検証を人が担う仕組みをつくる点です。
全部ではなく、社外に出る数値と固有名詞に絞ると実行されます。

回答は完成品ではなく仮説であり下書きだと、組織の共通認識にしておきます。
この言い方が定着すると、確認する行為が特別ではなくなります。

ツール側では、出典が出るものを標準にする、根拠の文書を限定する、わからないときはわからないと答えさせる。
この3つが効きます。

まずは社内の標準の指示文に、「わからない場合はわからないと答えてください」の一文を足してみます。

すぐ使える業務アプリが300以上

開いてそのまま使えて、AIで自社用にも直せます。15の分野から、やりたい作業で探せます。業務アプリを見る

執筆:寺田昇平

AI Portalize株式会社 代表取締役/AI Digital Community 代表理事

仕組みとコンサルティング伴走支援の両面で、組織のAI活用の加速を支援。

keyboard_backspace

お知らせ・組織AI推進ノウハウ一覧

無料 自社に当てはめて知りたい方へ

読んだ内容を、

御社の数字

で確かめませんか。

利用データから、御社のAI活用がいまどこにいるのかを判定します。
同業他社との比較と、次にやることをお渡しします。

組織のAI活用力診断のメインビジュアル(ノートPCの利用データと結果表)

Related

関連記事

Service

サービス一覧

AI Portalizeの管理画面イメージ:AI活用数・効率化時間の見える化とチームへの広がり

AIツールが見つかる。社内に広がる。使われ方が見える。

組織のAIポータル「AI Portalize」

  • check_circle

    やりたいことで検索すると、業務アプリ300以上とナレッジ250本以上から見つかる

    check_circle

    社内で作ったツールやナレッジが共有され、よく使われるものが上に並ぶ

    check_circle

    誰が何をどれだけ使っているかが、集計の手間なしで分かる

デジタル系企業特化のAIコンサルティング&伴走支援のイメージイラスト

実務に組み込むまで伴走

組織のAI活用を加速「AIコンサル&伴走支援」

  • check_circle

    従業員が安心して使うためのガイドライン策定

    check_circle

    ドメイン知識が豊富なコンサルタント

    check_circle

    業務分解からAIワークフロー作成

    check_circle

    研修から実務への組み込みまで

法人向けAI研修のイメージ:受講者が自分の業務でAIを使いながら学ぶ研修の様子

自社の業務で、使える知識に

実務で使える知識を「法人向けAI研修」

  • check_circle

    いま使っているAIと受講者の業務を伺って、誰に・どのAIで・どの業務を題材にするかを提案

    check_circle

    Gemini・Claude・AIエージェントなど、8つの研修例と230以上のテーマ例

    check_circle

    基本はオンライン。研修の資料と録画もお渡し

デジタル系企業特化のAIコンサルティング&伴走支援のイメージイラスト

豊富な新規事業立ち上げ実績

AIを活用した
新規事業の立ち上げ支援

  • check_circle

    検討からサービス構築まで

    check_circle

    豊富な新規事業構築実績

    check_circle

    すでにあるAIボットなどを活用も可能

AI活用支援のビフォーアフター:迷っている状態からGemini等を使いこなす状態への変化

経営者・役員・AI担当向け

AIパーソナル
トレーニング

  • check_circle

    まだAI活用できていない状態でも大丈夫

    check_circle

    1回2時間のみからご利用いただけます

    check_circle

    実務で使える「今のAI活用」を学ぶ

    check_circle

    トップ層こそAIに詳しく

AIガイドライン作成+定着研修の紹介バナー:御社に合ったルールづくりから社内への定着まで

生成AIの社内ルールを一緒に作る

AIガイドライン作成+
定着研修

  • check_circle

    御社の現状をヒアリングしながら一緒に作成

    check_circle

    AIツールごとの仕組みや契約の違いを踏まえて線を引く

    check_circle

    従業員の方への定着研修までご支援

AIガイドライン作成+定着研修の紹介バナー:御社に合ったルールづくりから社内への定着まで

AIの答えに、自社の名前を

LLMO・GEO・AIO
対策

  • check_circle

    御社の現状をヒアリングしながら一緒に作成

    check_circle

    AIツールごとの仕組みや契約の違いを踏まえて線を引く

    check_circle

    従業員の方への定着研修までご支援

まずは、いまのAI活用の
状況をお聞かせください。

何から始めるか決まっていなくても、ご相談いただけます。

無料相談・お問い合わせ