【入門】LLMとは トークン数と文章の毎回の違いを手元で測った
LLM(大規模言語モデル)は、文章を「トークン」という細かい単位に分け、次に来る言葉を予測して文章を作る仕組みだ。この2点を手元で数えて確かめた。
トークンは、自作の文を OpenAI 系のトークナイザ(tiktoken の o200k_base)で数えた。漢字多めの文は1文字あたり0.91トークン、英文は0.216トークンだった。
予測の側は、同じ依頼を Claude に10回ずつ書かせた。毎回違う文が出て、全く同じ文は haiku が0、sonnet が2だった。トークンの数字は Claude のものではない。Claude で試したのは haiku と sonnet だけで、ChatGPT などでは試していない。
生成AIは、文章・画像・音声などを新しく作るAI全般の呼び名だ。LLMは、その中で文章を扱う仕組みを指す。ChatGPT・Claude・Gemini の会話は、LLMが中心になっている。
画像を作るAIは、別の仕組みで動くことが多い。会話の中では「生成AI」とLLMが同じ意味で使われることもある。
実行日は2026-10-01。API呼び出しはなく、手元のMacで tiktoken 0.13.0 の o200k_base を使った。これは OpenAI 系のトークナイザで、Claude が数えるトークンとは別物だ。サンプルは編集部が書いた6種類の文章で、種類は次のとおり。
ひらがな中心(単語の間に空白を入れた文)
漢字多め(ニュース調)
カタカナ語(IT業界の文)
英文
数字とコード(SQL・JSON・URL・数値の羅列)
混在(日本語・英数字・記号)
| サンプル | 文字数 | トークン数 | 1字あたり | 1トークンあたり字数 |
|---|---|---|---|---|
| ひらがな中心 | 872 | 679 | 0.779 | 1.28 |
| 漢字多め | 767 | 698 | 0.91 | 1.1 |
| カタカナ語 | 701 | 489 | 0.698 | 1.43 |
| 英文 | 1664 | 359 | 0.216 | 4.64 |
| 数字とコード | 1199 | 549 | 0.458 | 2.18 |
| 混在 | 789 | 533 | 0.676 | 1.48 |
1字あたりで比べると、漢字多めの文は英文の約4.2倍のトークンになる。ただし文字数は各サンプルで違い、701字から1664字まである。短い語の例では、「こんにちは」が1、「経済産業省」が5、「コンバージョン」が5トークンだった。
予測の仕組みを確かめるため、同じ依頼を10回ずつ送った。実行日は2026-10-01。モデルは claude-haiku-4-5-20251001 と claude-sonnet-5。ツールもWeb検索も無しで、1回ごとに新しい会話。入力は次の1文だ。
「朝の通勤電車」について、200字程度のエッセイを書いてください。本文だけを出力してください。
| 指標(10本) | haiku | sonnet |
|---|---|---|
| 全く同じ文が2本以上に出た数 | 0 | 2 |
| 2本ずつの文字列の重なり(平均) | 0.062 | 0.061 |
| 「スマートフォン」が出た本数 | 10 | 10 |
文は毎回違うが、「スマートフォン」は両モデルの10本すべてに出た。次の言葉を予測する仕組みは、毎回少しずつ違う文を作りながら、よく出る言葉に寄る。詳しくは AIの文章は似るのか で数えた。
生ログ: EXP-05 の全記録・EXP-07 の全記録
- トークンの数字は OpenAI 系の数え方で、Claude のトークン数ではない。傾向(英文は少なく、漢字多めの文は多い)だけを見る。
- ひらがなのサンプルは単語の間に空白を入れてあり、空白がトークンを増やしている可能性がある。
- 「次の言葉を予測している」という仕組みの説明は一般的な説明で、実験が直接確かめたのは「同じ依頼でも文が毎回違う」ことまでだ。
- 10回の実験は題1つ。Claude の haiku と sonnet だけで、ChatGPT・Gemini は試していない。
- ChatGPT・Claude・Gemini などの公式サイトを開く。
- 案内に従ってアカウントを作る。
- 入力欄に普通の日本語で頼みごとを書いて送る。
- 返ってきた文章を読み、数字や固有名詞は自分で確かめる。
最初の一文の例を挙げる。この依頼自体は今回試していない。
LLMと生成AIの違いを、料理に例えて3行で説明して
事実の確かめ方は AIが間違う理由と確かめ方 で30問を実測した。
- トークンは文字数と一致しない。1字あたりのトークン数は、英文が0.216、漢字多めの文が0.91だった(OpenAI系の数え方)。
- 同じ依頼でも文は毎回違う。ただし「スマートフォン」のように、よく出る語には寄る。
- LLMは生成AIの一部で、文章を扱う仕組みを指す。