AIに手元の資料を渡すと回答は変わる？
Q / AIに手元の資料を渡すと回答は変わる？
編集部の回答
今回の小さなClaudeの検証では、資料を渡すと資料にある質問に答えられました。資料にない質問には記載がないと回答しました。大きな資料や他のAIの結果は保証できません。
検証の条件は下記をご確認ください。Q&A編集日: 2026-10-02。読者投稿ではなく、編集部が検証記事をもとに回答しています。
RAG(ラグ)は、AIが学習していない資料を、答えるときに参照させる考え方。実際に資料を渡すと答えがどう変わるかを、架空の会社の社内規程で測った。資料なしでは10問すべて「分からない」と答え、資料ありでは10問すべて正解した。この検証は Claude で行い、ChatGPTなどは試していない。また、資料を丸ごと貼る方法で、本物のRAG(検索して必要な部分だけ渡す仕組み)は組んでいない。
2026-10-01に開いて内容を確認した。
- AWS What is RAG? https://aws.amazon.com/what-is/retrieval-augmented-generation/
特定サービスの操作手順は、公式で確認できていないので書かない。
AWSの解説は、RAGを「学習データの外にある信頼できる知識源を参照して、AIの出力を良くする仕組み」と説明している。工程は4つ。
- 外部データを作る(DBやAPIの内容を数値の表現に変えて、ベクトルデータベースに保存する)
- 関連情報を探す(質問を同じ形に変えて照合し、近い文書を見つける)
- AIへの依頼文に、見つけた情報を加える
- 外部データを更新し続ける
実行日 2026-10-01。モデル claude-haiku-4-5-20251001、ツール無し・Web検索無し。自作の社内規程(1,360字・実在しない会社)から、10問を作った。各問を(a)資料なし(b)資料を同じ依頼文に貼って、1回ずつ。計20回。
資料なしの依頼文は次の形。資料ありは、この前に規程の全文を貼った。
株式会社ミナトヤ製作所の在宅勤務・備品貸与規程について質問です。在宅勤務は週に最大何日までですか。短く答えてください。
正解は規程の条文にある数字(6か月・3日・4営業日・2,800円・27インチなど)。判定は、正解の語句が含まれるかと、「持っていません」などの断りの語句の有無。
| 条件 | 正答 | 分からないと回答 | 作り話 |
|---|---|---|---|
| 資料なし | 0/10 | 10/10 | 0/10 |
| 資料あり | 10/10 | 0/10 | 0/10 |
出力の実物(通信費補助の質問)。
資料なし: 申し訳ございませんが、株式会社ミナトヤ製作所の在宅勤務・備品貸与規程の情報を持っていません。
資料あり: 月額2,800円です。
資料を渡したうえで、規程に書かれていない3問(昼食補助・異議申し立て先・ノートPCの機種)を聞いた。3問とも「記載がない」と答え、作り話は0回。規程にある別の補助(通信費・椅子)を挙げて、無い項目と区別した回答もあった。
生ログ: EXP-41 の全記録
- 質問に会社名を出したので、「知らない会社」と判断して断りやすかった可能性がある。一般的な内容を装った聞き方は試していない。
- 初回の判定では、断りの言い回しを取りこぼし、資料なし9問を「作り話」と誤判定した。原文を読んで判定の語句を直し、同じ生ログから再採点した。
- 各1回で、haikuだけ。長い資料や、検索で一部だけ渡す本物のRAGは試していない。
- 資料を貼ると外部に送られる。社内の資料は、会社のルールを確認してから使うこと。
- 資料なしでは、10問すべて「持っていない」と断り、作り話はなかった。
- 資料を貼ると10問すべて正解した。資料に無い質問は3問とも「記載がない」と答えた。
- 結果は小さな実験で、断れるかどうかは聞き方でも変わりうる。
出典
- AWS: What is RAG? — https://aws.amazon.com/what-is/retrieval-augmented-generation/ — 確認日 2026/10/01