社内文書に答える AI（RAG）をローカルで小さく始める：手順と権限設計【中小企業のためのローカル生成 AI 導入ガイド第 4 回】

公開日 2026年10月15日

活用・ソリューション

連載「中小企業のためのローカル生成 AI 導入ガイド」（全 5 回）

「この手続きの申請先はどこ？」「この製品の保証期間は？」――社内には、規程やマニュアルを探せば分かるものの、探すのに時間がかかる質問が多くあります。こうした質問に、社内文書を根拠に答える仕組みが RAG（Retrieval-Augmented Generation、検索拡張生成）です。第 4 回では、ローカル生成 AI で RAG を小さく始める方法を解説します。

RAG の仕組み

RAG は、大きく次の流れで動きます。

文書の取り込み：規程やマニュアルを読み込み、適当な長さに分割します。
索引の作成：分割した文章を「埋め込みモデル」で数値（ベクトル）に変換し、検索用の索引に保存します。
検索：質問が来たら、質問に近い内容の文章を索引から探します。
回答の生成：見つかった文章を LLM に渡し、それを根拠に回答を作らせます。

LLM 自体に社内の情報を覚えさせる（追加学習する）のではなく、その都度文書を探して渡すため、文書を差し替えれば最新の内容を反映できます。一方で、検索で適切な文章が見つからなければ、正しい回答は得られません。「検索できること」と「回答が正確であること」は分けて評価する必要があります。

ステップ 1：まずは 1 人で試す

最初の検証は、担当者 1 人が自分の PC で試すのが手軽です。LM Studio には文書を読み込ませて質問できる機能があり、公式資料では、読み込んだ文書の処理はすべて PC 内で行われ、外部に送信されないと説明されています。

この段階では、機密性の低い文書（公開済みの製品資料や、社内向けでも個人情報を含まない手順書など）を使い、どのような質問にどの程度答えられるかの感触をつかみます。

ステップ 2：部署で共有する構成

部署のメンバーで使う場合は、サーバー役の PC で LLM を動かし、各自のブラウザから使える画面を用意する構成が一般的です。例として、オープンソースの「Open WebUI」は、Ollama や OpenAI 互換の API（第 3 回で紹介した LM Studio のサーバー機能など）に接続でき、次のような機能を備えています。

ナレッジ（Knowledge）：文書をまとめて登録し、RAG の検索対象にできる。
埋め込みモデルの選択：管理画面の設定で、検索用の埋め込みモデルを変更できる。
ユーザー・グループ管理：管理者・一般ユーザーなどの役割と、グループ単位の権限を設定できる。

Open WebUI の資料では、Ollama のモデルを使う場合、標準の文脈長（4,096 トークン）では検索した文章の一部しか渡せないことがあるため、8,192 トークン以上（できれば 16,000 以上）に増やすよう案内しています。文脈長を増やすとメモリ使用量も増えるため、第 2 回で触れたように PC のメモリ容量に余裕を持たせておきます。

ステップ 3：文書を整える

RAG の回答の質は、読み込ませる文書の状態に大きく左右されます。

最新版だけを登録する：改定前の規程が残っていると、古い内容で回答してしまいます。
担当と更新のルールを決める：文書を改定したときに、誰が差し替えるかを決めておきます。
スキャンした PDF に注意する：画像として保存された PDF は文字を読み取れないことがあります。文字情報を含むファイルを用意します。
最初は個人情報を含めない：検証の初期は、個人情報や取引先の機密情報を含まない文書で始めます。

ステップ 4：権限を設計する

部署で共有する場合に特に注意したいのが、本来その人が見られない文書の内容が、AI の回答を通じて見えてしまうことです。人事規程の運用メモや、役員向けの資料などを全員が使うナレッジに入れると、質問次第でその内容が回答に含まれる可能性があります。

Open WebUI では、ナレッジやモデルを非公開にし、特定のグループや個人にだけ閲覧・編集の権限を与えられます。ただし、権限は「付与」のみで「拒否」の設定はなく、複数のグループに所属するユーザーには、各グループの権限がすべて合算されると説明されています。グループの設計は、次のように整理しておくと安全です。

ナレッジの例	対象文書	閲覧できるグループ
全社共通	就業規則、経費精算の手順、社内 FAQ	全社員
部署別	部署の業務マニュアル、製品の技術資料	該当部署のみ
管理者向け	システム設定の手順、運用記録	管理担当者のみ

ステップ 5：回答を評価する

本格的に使い始める前に、実際の業務でよくある質問を集めた「質問リスト」を作り、回答を確認します。

回答の根拠として示された文書・箇所が正しいか
文書に書かれていないことを、もっともらしく答えていないか
数値・日付・固有名詞が原文と一致しているか
質問の言い回しを変えても、同じ結論になるか

運用開始後も、回答の根拠を利用者が確認できるようにし、重要な判断は原文を見て行うルールにします。

RAG に特有のリスクにも注意

IPA の中核人材育成プログラムの卒業プロジェクトがまとめた「テキスト生成AIの導入・運用ガイドライン」では、RAG を導入する際のセキュリティリスクについても詳しく取り上げています。たとえば、検索対象の文書に AI への不正な指示が紛れ込んでいると、回答が意図しない内容に誘導されるおそれがあります（プロンプトインジェクション）。登録する文書の出どころを管理し、外部から受け取ったファイルをそのまま登録しないことが基本的な対策になります。