トークンとは、AIが文章を区切って扱う最小の“かたまり”
トークンとは、AIが文章を読み書きするときに区切る、最小の“かたまり”のことです。単語まるごとがひとつのトークンになることもあれば、ひとつの単語が途中で分かれることも、「、」や「！」といった記号ひとつが、それだけで1トークンになることもあります。
料金表や「文字数の上限」の表示で「トークンって何？」と引っかかった——この言葉との出会いは、たぶんそんな入口が多いはずです。私たちは文章の長さを「何文字」で数えますよね。でも、AIは違う。文字数ではなく、このトークンという単位に文章を区切って処理している。ここがすべての出発点です。料金も上限も、大元はこの単位ひとつです。
料金も、一度に読める量も、トークンで決まる
裏側の技術用語だと思って流されがちですが、トークンを知っておくと得をする場面は、実はいくつもあります。大きく3つ。
① 料金がトークン単位で決まることが多い。 有料でAIを使うとき、その請求は「何文字打ったか」ではなく「何トークン使ったか」で計算されるのが一般的です。しかも、あなたが入力した文章だけでなく、AIが返してきた文章のトークンも合算されます。長い指示を出して長い答えをもらうほど、消費は積み上がる。プランの上限が、金額ではなくトークン数で示されていることもあります。
② 一度に扱える量の上限も、トークンで決まる。 AIには「一度の会話で読み込める量」に天井があり、これもトークンで数えます。長い文章を貼りつけたら途中から反応がおかしくなった、会話が続くうちに前半のやり取りをすっかり忘れられてしまった——あの現象の正体が、この上限です。天井を超えた分は、AIの視界から少しずつ押し出されていく、とイメージすると近いはず。ちなみに、この「一度に扱える量」のことを、コンテキストと呼びます。
③ 日本語は、英語より1文字あたりのトークンを食いやすい。 同じくらいの見た目の長さでも、日本語の文章のほうがトークン数はふくらみがちです。日本語は文字の種類が多く、1文字が複数のトークンに分かれることも珍しくないため。結果として、英語なら余裕で収まる長さでも、日本語だと上限に早く届いたり、料金がかさんだりしやすくなります。
ただし、ここで挙げた「1文字あたり何トークン」といった話は、どれも大まかな傾向にすぎません。正確なトークン数は、使うモデルやツールによって変わります。料金や上限の具体的な数字は、あなたが使うサービスの公式ページで確かめてください。
「今夜、カレーを作ろう！」を区切ってみる
言葉だけだとつかみにくいので、短い文をひとつ、実際にトークンへ分けてみます。
見た目は10文字ほどの短い文です。それがこの例では、7つのかたまりに分かれました。「今夜」「カレー」は単語まるごとで一つ、「作ろう」は「作」と「ろう」に割れ、「、」や「！」は記号ひとつでそれぞれ一つ分。人の目には1文字にしか見えない読点も、AIにとっては立派な1トークンです。
「作ろう」がなぜ「作」と「ろう」に割れるのか——そこは私たちが気にしなくて大丈夫。区切り方はAIが自動で決めるので、こちらが数えたり計算したりする必要はありません。だから、文字数をどれだけ丁寧に数えても、トークン数はぴたりとは言い当てられない。それでいい、というのがこの話のいちばん楽なところです。
距離ではなく“駅の数”で運賃が決まる電車
この感覚を、もっと身近なものにたとえてみます。電車の運賃を思い浮かべてください。多くの路線では、走った距離そのものより、いくつ駅を通ったかという区切りの数で運賃が決まります。ひと駅なら、短い距離でも初乗り。逆に、各駅にこまかく止まる区間は、進んだ距離のわりに運賃が上がりやすい。
トークンも、これに似ています。AIが見ているのは、文章の「長さ（＝距離）」ではなく、それがいくつのかたまり（＝駅）に区切られたか。文字数が同じでも、こまかく区切られる文章のほうがコストは高くつきます。日本語が割高になりがちなのも、同じ距離を進むのに“止まる駅”が多くなりやすい、と考えると腑に落ちるはずです。
長い指示を削る、長文は分ける——トークンとの付き合い方
区切りの単位が分かると、ふだんの使い方にちょっとしたコツが見えてきます。
- 前置きが長すぎる指示は、削る。 ていねいに書いたつもりの長い前振りも、トークンとしては一字残らずカウントされます。用件だけに絞れば、それだけで消費は軽くなります。
- 長い資料は、一度に全部渡さない。 上限を超えた分は古いほうから忘れられていくので、いくつかに区切って渡すか、要点だけを先に渡すほうが確実です。
- 会話が長引いたら、要約をはさむ。 それまでの流れを一度みじかくまとめ直してから続けると、AIの“物覚え”の枠をむだづかいせずに済みます。
先日とりあげた、ChatGPTのカスタム指示が「1,500字→5,000字」に広がった話も、根っこはここにつながっています。あの「◯◯字まで」は文字数で数える設定ですが、書いた内容をAIが読むときには、やはりトークンに置き換えられます。ふだん意識する単位＝文字数と、AIが内部で数える単位＝トークンは別、というわけです。
ちなみにAIが文章を作るときは、このトークンをひとつずつ予測しながら並べています。その仕組みはLLM（大規模言語モデル）とは？にまとめました。「そもそもAIは何を作れるのか」という、もう一歩手前から知りたい人は、生成AIとはを先に読んでおくと流れがつかめるはずです。
トークンが分かると、料金と“物忘れ”の理由が一度につながる
AIの利用料がなぜかさむのか。長い文章を渡すと、なぜ途中から前の話を忘れてしまうのか。別々の悩みに見えるこの二つは、たどっていくと同じ一点——トークンという単位——に行き着きます。
AIは、文章を文字で見ていない。かたまりで区切って、その数を数えている。それさえ頭の隅に置いておけば、次に料金表や「文字数の上限」という表示を目にしたとき、その数字がいったい何を数えているのか、見当がつくようになります。
AIまわりの言葉は、ぜんぶを一度に覚える必要はありません。この記事のトークンのように、引っかかったものから一つずつでいい。読んでいて名前だけ素通りした用語が出てきたら、AI用語集にひとことずつ説明を置いてあります。そこだけ拾って、また読みかけに戻ってくれば十分です。