社内文書をAIで検索する方法。RAGの仕組みと、作らずに始めるやり方

「就業規則はドライブにあるのに、どこに書いてあるかを探すほうが時間がかかる」。
社内文書をAIで検索したいという相談は、こうした声から始まることが多いと思います。

社内文書をAIで検索する仕組みは、RAG（ラグ）と呼ばれる形が土台になっています。
質問に合う箇所を社内の文書から探し、その箇所をもとにAIが答えを作る仕組みです。
ただ、RAGは開発会社に頼んで作るものだけを指すわけではなく、手持ちのAIで近い形を作って試すこともできます。

この記事では、ChatGPTに聞くだけでは社内文書が探せない理由と、RAGの仕組みを先に見ます。
そのうえで、3つのやり方の比べ方、Gemini Notebook（旧NotebookLM）で作らずに始める手順、作る場合の費用の目安と注意点を扱います。
社内ナレッジにAIを使う全体の選び方は、社内ナレッジをAIで活用する方法。ツール導入・RAG・手持ちのAIの選び方にまとめています。

ChatGPTやGeminiに聞くだけでは、社内文書は検索されません

最初に、普段使っているAIに社内の規程を聞いても答えが出てこない理由を押さえておきます。

ChatGPTやGeminiのような対話のAIは、学習した広い知識と、Webの検索結果をもとに答えます。
社内のサービスにつなぐ機能を使っていなければ、ドライブやファイルサーバにある文書は、AIの側からは見えていません。
そのため「当社の出張の日当はいくらですか？」と聞くと、世間一般の相場を答えるか、分からないと返すことになります。

もちろん、文書を貼ったり添付したりすれば答えますが、毎回探して貼るのでは手間が残り、人によって渡す版も変わります。
社内文書をAIで検索できる状態とは、文書をAIが探せる場所に置いておき、質問のたびにそこから引かせている状態です。

これまでの社内検索との違いは、言葉が一致しなくても答えにたどり着ける点です。
例えば、文書に「休暇」と書いてあると、キーワードの検索では「有給」で探しても見つからないことがあります。
AIの検索は質問の意味から近い箇所を探し、見つけた箇所を読んで答えの文まで作ります。
「文章を検索するAIはあるのか」と聞かれたら、こうした仕組みの製品やサービスは多く出ている、と答えられます。

社内のRAGは、文書から探して、その箇所をもとに答える仕組みです

社内のAIの話でよく出てくる「RAG」が何を指し、どこが弱いのかを、仕組みの順に見ていきます。

RAGは Retrieval-Augmented Generation の頭文字で、社内では「社内の文書を探してから答えるAI」をまとめてこう呼ぶことが多いです。
動きは、準備の段階と、質問が来たときの段階に分かれます。

準備の段階では、規程やマニュアルを段落や見出しごとの小さなかたまり（チャンク）に分けます。
かたまりごとに、意味の近さで探せる形（ベクトルと呼ばれる数値の並び）に置き換えて、検索用の置き場にためておきます。

質問が来たら、質問も同じ形に置き換え、意味の近いかたまりをいくつか取り出します。
取り出したかたまりを質問と一緒にAIに渡し、「この資料の範囲で答えて」と指示して答えの文を作らせます。
答えと一緒に、どの文書のどこを使ったかを出せるのは、取り出したかたまりが手元に残っているからです。

一言でいうと、RAGは「探す」と「答える」を分けた仕組みです。
AIのモデルそのものに文書を覚え込ませるわけではないので、置き場の文書を入れ替えれば、AIを作り直さなくても新しい中身で答えるようになります。
「AIに学習させたら外に漏れるのでは」と心配されたら、学習ではなく質問のたびに探して渡している、と説明できます（文書の扱いは使うサービスの規約で確かめます）。

「RAGの欠点は何か」と聞かれたら、答えの出来が、探す段階と文書の整い方に左右される点だと言えます。
探す段階で正しい箇所を取り出せなければ、AIはほかの箇所をもとに、もっともらしく外れた答えを作ります。
書き方がばらばらだったり、同じ規程の古い版が混ざっていたりすると、取り出す箇所を誤りやすくなります。

また、スキャンしただけの画像のPDFは文字の情報を持たないので、文字を読み取る処理を挟まない限り探す対象に入りません。
見分け方は社内PDFがAIで読めない理由。2種類のPDFと文書資産の棚卸しにまとめています。

社内文書をAIで検索するやり方は3つあり、始める手間と権限の扱いで比べます

社内文書をAIで検索できるようにするやり方は、大きく3つに分けられます。
先に表で並べてから、それぞれの向き不向きと、RAGを作る場合の費用の目安を見ていきます。

AIツールに資料を渡すやり方は、いちばん早く始められ、部門の人が自分で作って直せるのが強みです。
その代わり、入れられる文書の数に上限があり、文書を差し替える手間も作り手にかかります。

社内のサービスにつなぐやり方は、文書をどこかへ移さずに使えます。
2026年10月時点のOpenAIのヘルプでは、ChatGPT の社内ナレッジは Business・Enterprise・Edu で使え、本人がすでに見られる情報にしか届かないと説明されています。
Microsoft 365 Copilot は、アドオンのライセンスがあれば、メールやファイルなど組織のデータを Microsoft Graph 経由で自動で答えに使うと Microsoft が説明しています。

RAGを作るやり方は、検索の範囲や回答の画面、見せる相手の分け方を自社の都合で決められます。
「RAGは自社で作れるのか」という問いには、作れるけれど、作ったあとも検索の精度を確かめて直す人が要る、と答えるのが近いと思います。

費用は、開発会社が公開している例で見ると見当がつきます。
株式会社ソフィエイトは、1つの部署で使う場合を100万円台から（期間は約2か月）、全社で使う場合を合計300万円から、作ったあとの保守を月11万円からと示しています（いずれも税抜で、AIの利用料とサーバー代は別の実費）。
1部署分には、文書100ファイルまでの取り込みや、精度の確認50問が含まれるとしています（ソフィエイト「社内AIの作り方｜RAG構築・社内チャットボットの手順と費用」、2026年10月23日に確認）。

金額は1社が示す目安で、文書の量や社内システムとつなぐかどうかで変わります。
同じ記事は、頼む側にも、答えを確かめる人、文書を差し替える人、データの置き場所とログインの方法を決める人が要るとしています。

どれを選ぶか迷ったら、AIツールに資料を渡すやり方で1つの業務を試すのが早いと思います。
文書の量や見せる範囲のどこで足りなくなるかが分かり、作るかつなぐかを決める材料になります。

作らずに始めるなら、Gemini Notebook（旧NotebookLM）で部門の1冊から作れます

Google Workspace を使っている会社なら、作らずに始める候補は Gemini Notebook です。
ここでは、2026年10月23日に確かめた Google のヘルプをもとに、RAGを作った場合とどこまで同じ使い方ができるかを見ていきます。

Gemini Notebook は、2026年7月に NotebookLM から名前が変わったサービスです。
ノートブックに文書（ヘルプでは「ソース」）を入れると、チャットの回答には「ソースに含まれているデータのみ」が使われると説明されています。
回答にはソースから引いた文が引用として付き、引用を選ぶと文書の該当箇所に移れます。

つまり、文書から探して、その箇所をもとに答え、出典を示す使い方を、開発なしで試せます。
Business Starter・Standard・Plus や Enterprise など多くのエディションでコアサービスとして提供されていて、今の契約の範囲で始められます。

上限と文書の扱いは、ヘルプでは次のように書かれています。

• 1冊に入れられるソースは標準で50件まで（最高レベルのアクセス権で600件まで）、チャットは標準で1日50回まで

• 1つのソースは50万語まで、アップロードするファイルは200MBまで

• ドライブから入れた文書は数分ごとに自動で同期され、パソコンからアップロードしたファイルは取り込んだ時点の写しになる

• Googleのファイルの脚注とコメントは取り込まれない

• 仕事用のアカウントでは、フィードバックを送らない限り、入れた文書やチャットは学習に使われない

ノートブックは1冊ずつ独立して動き、複数のノートブックをまたいで答えることはできません。
部門の文書を全部1冊に入れるのではなく、「経費精算の規程に答える」のように、質問する人と答える範囲で1冊ずつ分けて作ります。
作る手順は、Gemini Notebook（旧NotebookLM）で社内チャットボットを作る方法。規程に答えるまでに、画面の操作の順に書いています。

Gem にも知識のファイルを持たせられますが、京都府舞鶴市のデジタル推進課は2025年4月の記事で、最初に試した Gem がソースに無い情報をインターネットから引き、市の運用と違う答えを返したと書いています。
そのあと NotebookLM（今の Gemini Notebook）に切り替え、答えられない質問は相談の窓口へ案内させているそうです。
また、Gem は Workspace の Business・Enterprise では2027年3月、個人のアカウントでは2026年11月に提供を終え、スキルへ自動で移されると Google のヘルプで案内されています。
文書に答えさせるなら、引用が付き、移行の影響も受けない Gemini Notebook から始めるほうが扱いやすいかと思います。

「1冊に50件では入りきらない」「1冊の中で、質問する人ごとに見せる文書を分けたい」「社内システムのデータも引きたい」となったら、つなぐか作るやり方に移る時期です。

手順は、対象の業務と使う人を決めてから、限定公開で広げるまでの5段です

ここからは、どのやり方でも共通する進め方です。
作らずに始める場合も、開発会社に頼む場合も、流れはほとんど変わりません。

1. 対象の業務と使う人を決める
2. 入れる文書を選んで整える
3. AIに文書をつなぐ
4. 実際に届いた質問で確かめる
5. 一部の人に公開し、答えられない質問を人の窓口に回しながら広げる

では、最初の対象はどの業務にすればよいのでしょうか？
同じ質問が何度も届いていて、答えが規程やマニュアルに書いてある業務が向いています。
「経費精算について、全社員からの質問に答える」のように1行で書き、聞く人が「これは聞いていいのか」を判断できるようにします。

文書は、正式な最新版だけを選びます。
同じ規程の古い版や下書きが混ざると、探す段階で古い版を取り出し、古い数字で答えるおそれがあります。
脚注に大事な例外を書いている規程は本文に書き直し、画像だけのPDFは文字を読み取れる形にしてから入れます。
誰が更新するかも、このときに「経費精算の規程は経理の誰か」と業務ごとに決めておきます（古い情報で答えるAIを作らない。社内ナレッジの更新体制のつくり方）。

つなぐ作業は、やり方によって中身が変わります。
Gemini Notebook ならドライブから文書を入れ、チャットの設定で「資料に書かれていないことは推測で答えない」と指示を書きます。
RAGを作るなら、文書の取り込み方、検索の仕組み、回答の画面、ログインと見せる範囲を開発会社と決めます。

確かめるときは、自分で考えた質問ではなく、チャットやメールで実際に届いた質問をそのまま使います。
「有休」「有給」のような現場の言い回しのまま聞き、答えに付いた出典を開いて、原本の該当箇所と合っているかを見ます。
言い回しを変えて2〜3回聞き、結論や数字が変わらないかも見ておきます。

公開は、一部の部署や数人から始め、答えられなかった質問が人の窓口に回る道を先に用意しておきます。
AIが「資料には書かれていません」と返したときに、問い合わせのフォームやチャットの窓口を案内するよう指示しておけば、聞いた人が行き場を失いません。

窓口で人が答えた内容は文書に足し、次からはAIが答えられるようにします。
前に挙げたソフィエイトの記事でも、AIが答えられない質問を人が答え、ナレッジに足して次からAIが答える流れが紹介されています。
質問の記録から育てる運用は、社内FAQをAIで作る方法。登録型とRAG型の違いと、質問の記録で育てる運用で詳しく扱っています。

公開したあとに部署の外で知られない、答えが古くなるといった止まり方は、社内のAIが使われなくなる原因で扱っています。

「社内でAIを使うにはどうしたらいいか」と聞かれたときも、1つの業務でこの5段を回してから対象を足していく、と答えられます。

権限・古い資料・原本の確認・利用料は、どのやり方でも先に決めておきます

続いて、社内文書をAIで検索するときの注意点を見ておきます。
どのやり方を選んでも起きる話なので、使い始める前に扱いを決めておきます。

まず、見てよい人と答える相手をそろえます。
Gemini Notebook では、閲覧者も中のソースを読め、チャットだけを見せるリンクでもソースにたどり着ける場合があるとヘルプに書かれているので、見せたくない文書は入れません。
RAGを作る場合やサービスにつなぐ場合も、質問した人が本来見られる文書だけで答えるかを、開発会社や管理者と確かめます。

AIに入れてよい文書かどうかも、先に区分しておきます。
社内向けの規程や手順書はそのまま入れ、顧客名や個人名を含む資料は伏せてから入れ、認証情報や他社から秘密保持契約のもとで預かったデータは入れない、と分けておくと迷いません。

次に、古い資料です。
文書を直したのにAIが古い答えを返すときは、まず置き場の文書が差し替わっているかを見ます。
Gemini Notebook ではドライブから入れた文書は自動で同期されますが、アップロードしたファイルは入れ直します。
RAGを作る場合は、文書を直したときに取り込み直す手順と担当を、作る段階で決めておきます。

答えは、原本で確かめてから使います。
Gemini Notebook のヘルプにも「生成された回答は必ず再確認してください」と書かれています。
規程や手続きに関わる答えは出典を開いて条文を読んでから使う、と使う人への案内に入れておきます。

利用料も見ておきます。
Gemini Notebook は対象のエディションなら今の契約に含まれていて、チャットの回数には上限があります。
RAGを作る場合は、開発と保守の費用に加えて、AIの利用料とサーバー代が実費でかかります。

文書に答えるAIを作ったら、全社から探せる場所に置いておきます

部門ごとに Gemini Notebook や Gem で文書に答えるAIを作ると、ほかの部署の人がその存在を知らないままになりがちです。
招待されていない人からは、ノートブックがあること自体が見えないからです。

私たちの組織のAIポータル「AI Portalize」では、Gemini Notebook や Gem をAIツールとして登録すると、名前・説明・タグで全社から探せて、ツールごとに使われた回数と使っている人が見えます。
社内の文書を読んで答えるのは Gemini Notebook や Gem の側で、AI Portalize はそれを全社で見つけられるようにして、使われ方を見える形にする役目です。

作るかどうかは、手持ちのAIで1つの業務を試してから決められます

社内文書をAIで検索する仕組みは、探して、答えるの2段でできていて、答えの出来は文書の整い方に左右されます。
そのため、開発を頼む前に、手持ちのAIで1つの業務の文書を入れて試すと、整えるべき文書と足りない機能が先に見えてきます。

試した結果、答えられなかった質問の一覧が手元に残れば、それがそのまま次の材料になります。
文書を足して手持ちのAIで続けるにしても、開発会社に作ってもらうにしても、その一覧から話を始められます。