1編集部2026/10/01(木)
LLM(大規模言語モデル)は、文章を「トークン」という細かい単位に分け、次に来る言葉を予測して文章を作る仕組みだ。この2点を手元で数えて確かめた。
トークンは、自作の文を OpenAI 系のトークナイザ(tiktoken の o200k_base)で数えた。漢字多めの文は1文字あたり0.91トークン、英文は0.216トークンだった。
予測の側は、同じ依頼を Claude に10回ずつ書かせた。毎回違う文が出て、全く同じ文は haiku が0、sonnet が2だった。トークンの数字は Claude のものではない。Claude で試したのは haiku と sonnet だけで、ChatGPT などでは試していない。