トークンとはAIが文章を数える単位・文字数との違い・料金と上限への影響

トークンとは

トークン（token）は、生成AI（LLM）が文章を処理するときの基本単位です。私たちは文章を「文字」や「単語」で数えますが、AIは文章をトークンという単位に区切って扱います。トークンは、単語の一部、1つの単語、あるいは記号や空白だったりします。入力できる量の上限（コンテキストウィンドウ）や、API利用時の料金は、このトークン数を基準に決まるため、基本として理解しておくと役立ちます（コンテキストウィンドウ、トークン料金の計算）。

文字数とトークン数は違う

トークンの区切り方は、モデルごとに決められた「トークナイザー」というルールで決まります。そのため、同じ文章でもモデルによってトークン数は異なります。

上の数字はあくまで傾向であり、正確な値は使うモデルのトークナイザーで確認する必要があります。

なぜトークンという単位を使うのか

AIは、文章を数値に変換して計算します。すべての文字の組み合わせを単位にすると種類が膨大になり、文字単位だと処理が長くなります。そこで、よく使われる文字列のまとまりを単位（トークン）として登録しておく方式が採られています。これにより、未知の単語も小さな部品の組み合わせで表せます。

トークンが関係する場面

トークン数の確認方法

• 提供元が公開しているトークナイザーの確認ツールに文章を貼り付ける。
• API には、送信前にトークン数を数える機能が用意されている場合がある（SDKのドキュメントで確認）。
• 利用画面や応答の情報に、使用したトークン数が表示される場合がある。

トークンを節約するコツ

1. 不要な前置きや重複する説明を削る。
2. 長い資料は、必要な部分だけを渡す（チャンク分割）。
3. 会話が長くなったら、要約して新しい会話で続ける。
4. 出力の長さ・形式を指定し、冗長な回答を避ける（出力形式の指定）。
5. 繰り返し使う長い指示は、キャッシュ機能の活用を検討する（プロンプトキャッシュ）。

トークンの具体例

「今日はいい天気ですね」という短い日本語でも、モデルによっては複数のトークンに分かれます。同じ意味の英語の文（”The weather is nice today.”）と比べると、日本語のほうがトークン数が多くなる場合があります。API を使って大量の日本語を処理するときは、見積もりの段階でトークン数を実測しておくと、料金の予想がずれにくくなります。

トークンのFAQ（よくある質問）

Q. 1トークンは何文字ですか？
A. 一定ではありません。モデルのトークナイザーと言語によって異なります。実際に数えて確認するのが確実です。

Q. 日本語は不利ですか？
A. トークン数が増えやすい傾向はありますが、モデルによる差も大きく、近年は改善も進んでいます。

Q. トークン数が上限を超えるとどうなりますか？
A. エラーになる、古い内容が切り捨てられる、出力が途中で途切れる、などの挙動になります。サービスの仕様を確認してください。

自分で確かめる簡単な実験

トークンの感覚をつかむには、提供元のトークナイザー確認ツールに、次の文章を貼り付けて数えてみるのが手軽です。

1. 短い日本語の文（例：「今日はいい天気ですね」）。
2. 同じ意味の英語の文。
3. 数字とアルファベットが混ざった文字列（例：製品の型番）。

3つのトークン数を比べると、「言語によって分割のされ方が違う」「記号や数字は細かく分かれやすい」といった傾向を実感できます。この感覚があれば、長い資料を渡す前に、おおよその量を見積もれるようになります。

筆者の見解（トークン）

トークンは、「AIの世界の通貨」のようなものだと考えています。入力の上限、出力の長さ、料金のすべてがこの単位で決まるため、感覚をつかんでおくと、設計や節約の判断が速くなります。細かい数値を暗記する必要はなく、「日本語は多めに見積もる」「長い履歴は毎回課金される」という2点を覚えておくだけでも、実務でのつまずきを減らせます。

トークンの関連項目

• コンテキストウィンドウ
• トークン料金の計算
• 日本語とトークン数
• 大規模言語モデル（LLM）とは

出典（一次情報）

• Claude Documentation（Token counting）
• OpenAI Tokenizer