【入門】マルチモーダルAIとは 文字にした書類をClaudeに読ませた
マルチモーダルAIとは、文字だけでなく画像や音声も受け取れるAIのことだ。ChatGPTやClaudeの画面で、写真を貼って質問できる機能がこれにあたる。
編集部は今回、写真そのものは試していない。試せたのは、写真から文字になったあとの処理にあたる部分だ。書類の文字をAIに渡して、必要な項目をどれだけ拾えるかを20回測った。
試したのは Claude だけで、ChatGPT では試していない。
「マルチ」は複数、「モーダル」は情報の形式を指す。文字、画像、音声を一つのAIで扱えるものを、マルチモーダルAIと呼ぶ。
AIに渡す質問や指示の文章は、プロンプトと呼ぶ。写真と一緒に入れる「この書類を要約して」の一文もプロンプトだ。
写真の読み取りはこの記事では試していない。一般的な流れは次のとおり。
1. AIチャットの画面で、画像を添付するボタンから写真を選ぶ
2. 知りたいことを文で添える
3. 返ってきた答えを、元の写真と見比べる
この写真の書類から、日付と持ち物だけを抜き出してください。
読み取れない部分は「不明」と書いてください。
実行日は2026-10-01。モデルは claude-haiku-4-5-20251001 と claude-sonnet-5。ツール無し、Web検索無し。
自作した架空のおたより5種(各15〜17項目の正解入り)を、上と同じ趣旨のプロンプトで文字として渡した。各文面を2回ずつ、計20回。画像は渡していない。
| 文面 | haiku | sonnet |
|---|---|---|
| 遠足(全学年) | 32/34 | 34/34 |
| 園の月だより | 32/32 | 32/32 |
| 運動会 | 32/32 | 32/32 |
| 3年生の学年だより | 32/32 | 32/32 |
| 学校だより | 24/30 | 30/30 |
合計は haiku が152/160、sonnet が160/160。いずれも2回分の合計。
haiku が落とした8件は、遠足の「傘は使えない」の注意が2回、学校だよりの末尾の「お知らせ」欄が2回(1回あたり3項目)。細かい注意書きや末尾の欄が抜けやすかった。
金額や日付を別の値に読み違えた例はなかった。ただし1回、「毎週月曜」を日付つきの表に展開させたら、曜日が全て誤っていた。
生ログ: EXP-20 の全記録
この数字は文字で渡した場合のものだ。手ブレや反射のある写真、手書きの文字では結果が変わりうる。編集部は未検証。
書類には氏名、住所、口座番号が写ることがある。写真を送るのは、内容を外部のサービスに渡すことでもある。詳しくはChatGPTやClaudeに個人情報を入力しない方がいい理由。
AIが、書かれていない内容を、もっともらしく答えてしまう現象をハルシネーションと呼ぶ。今回の20回では、原文にない新しい予定は出なかった。この結果は5種の文面に限った話だ。
マルチモーダルAIは写真も受け取れるAIだ。文字にした書類なら、sonnet は160項目をすべて拾い、haiku は8件落とした。写真での精度は未検証。