日本語とトークン数日本語が英語よりトークンを多く使う理由と費用・上限への影響
日本語の文章は、同じ内容でも英語よりトークン数が多くなる傾向があります。トークナイザーの仕組み、日本語で分割が増える理由、費用・上限・速度への影響、実測の方法、プロンプトの節約術と近年の改善動向を整理します。
公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて
日本語とトークン数とは
生成AIは、文章をトークンという単位で処理します（トークンとは）。日本語は、英語と比べて、同じ内容を表すのに、より多くのトークンを使う傾向があります。そのため、API利用時の費用、一度に扱える入力の上限、応答の速度に影響します。ただし、モデルによる差も大きく、一律の換算はできません。
トークナイザーの仕組み
トークナイザーは、文章をトークンに区切るルール（辞書）です。学習データの中で頻繁に出現する文字列を、まとまりとして登録する方式が一般的です（バイトペア符号化（BPE）などの手法）。
| 特徴 | 内容 |
|---|---|
| 頻出の語は1トークン | 英語の “the” や “tion” などは、1つのトークンになりやすい |
| 珍しい語は分割される | 登録されていない文字列は、より小さな単位に分割される |
| バイト単位への分割 | 未知の文字は、最終的にバイト単位まで分割され、あらゆる文字を表せる |
日本語でトークン数が増えやすい理由
| 理由 | 内容 |
|---|---|
| 文字の種類が多い | ひらがな・カタカナ・漢字があり、文字の種類が非常に多い |
| 学習データの偏り | 学習データに占める英語の割合が高いと、英語に最適化された辞書になる |
| 単語の区切りがない | 日本語は、スペースで単語が区切られず、分割が複雑 |
| 漢字の分割 | 珍しい漢字は、複数のバイトに分割され、複数のトークンになる |
この結果、日本語では、1文字が1トークン以上になることもあり、同じ意味の英文より、トークン数が1.5倍〜数倍になる場合があります。倍率は、モデル・文章の内容によって大きく異なります。
近年の改善
モデルの世代が進むにつれて、日本語を含む多言語に対応した辞書が整備され、日本語のトークン効率が改善しているモデルもあります。一方で、提供元・モデルによって差があり、トークナイザーの変更で、同じ文章のトークン数がかえって増えることもあるため（Anthropicは、Claude Opus 4.7以降のトークナイザーでは、同じトークン数に収まる英単語数が以前より少なくなると案内しています）、使うモデルで実測するのが確実です。
影響が出る場面
| 場面 | 影響 |
|---|---|
| API料金 | 日本語は同じ内容でも、費用が高くなることがある（トークン料金の計算） |
| 入力の上限 | 日本語の長文は、上限に達しやすい（コンテキストウィンドウ） |
| 応答速度 | 出力が長いほど時間がかかる |
| 長い履歴 | 会話の履歴も毎回カウントされる |
実測の方法
| 方法 | 内容 |
|---|---|
| 提供元のトークナイザーのツール | Webで、文章を貼り付けてトークン数を確認する |
| APIのトークン数カウント機能 | 送信前にトークン数を取得できる場合がある |
| 応答の利用量情報 | 応答に、使ったトークン数が含まれる |
| サンプルでの比較 | 実際に使う文章（数十件）を測り、平均を出す |
節約の工夫
| 工夫 | 内容 |
|---|---|
| 簡潔に書く | 不要な前置き、重複した説明を削る |
| 必要な部分だけを渡す | 長い資料は、関連部分に絞る（チャンク分割、RAG（検索拡張生成）） |
| 出力の形式を絞る | 「箇条書きで3点」など、長さと形式を指定する（出力形式の指定） |
| キャッシュの活用 | 繰り返し使う長い指示を、キャッシュする（プロンプトキャッシュ） |
| システムプロンプトの整理 | 常に送る指示を、必要最小限に（システムプロンプト） |
| 英語の指示と日本語の出力 | 指示を英語にする方法もあるが、品質への影響を試して判断する |
指示を英語にする方法は、トークン数は減らせても、日本語の出力品質や意図の伝わり方が変わることがあるため、検証してから採用します。
日本語とトークン数の具体例
同じ内容の、日本語と英語の短い説明文を、あるモデルのトークナイザーで測ったとき、日本語のほうが1.5倍ほどのトークン数になった、という結果が出ることがあります。大量の日本語文書を処理する前に、サンプルで実測して、費用の見積もりを立てると、予算の見通しが外れにくくなります。
日本語とトークン数のFAQ（よくある質問）
Q. 日本語は、必ず英語より高くなりますか？
A. 傾向としてはそうですが、モデルにより差があり、改善も進んでいます。実測で確認してください。
Q. 文字数でトークン数を推定できますか？
A. 大まかな目安は立てられますが、正確ではありません。重要な見積もりでは実測してください。
Q. 日本語に強いモデルは、トークン効率が良いですか？
A. 日本語の学習が手厚いモデルは、日本語のトークン効率が良い傾向があります。
筆者の見解（日本語とトークン数）
トークンは、「AIにとっての文字数」だが、人間の感覚の文字数とはずれる、という点を理解しておくと、日本語での設計の失敗を避けられます。小さな実験で実測する習慣さえあれば、数字に振り回されません。特に、大量処理や常時稼働のサービスを作るときは、早い段階での実測を強くおすすめします。
日本語とトークン数の関連項目
- トークンとは
- トークン料金の計算
- コンテキストウィンドウ
- プロンプトキャッシュ
出典（一次情報）
本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。