目次(9項目)
ChatGPTなどの生成AIを調べると、「トークン」という言葉が出てきます。料金や文字数の説明で見かけることが多いものの、トークンが何に使われているのかは、それだけでは分かりません。
トークンとは、言語モデルが文章を処理したり生成したりするときに使う、文字列の単位です。 1文字の場合も、単語の一部分の場合も、単語全体の場合もあります。
大切なのは、トークンが次の2つの場面に登場することです。
- 区切り:入力された文章を、モデルが扱える単位に分ける。
- 選択:文章を作るとき、次に続くトークンの候補から選ぶ。
この2つを分けて考えると、生成AIが文章を読み、続きを作る仕組みがつながります。
1. なぜ生成AIは文章をトークンに区切るのか?
次の文章を考えてみましょう。
サングラスをかけた少女が公園を駆け回る。
この文章を、コンピューターにどのような単位で渡せばよいでしょうか。
文章全体を1つの塊にすると、細かな違いを扱いにくい
文章全体を1つのトークンにした場合、「少女」を「少年」に変えた文章も、別の塊として登録する必要が出てきます。「公園」を「校庭」に変えた場合も同様です。
この方法では、「少女」「少年」「公園」などの部分を別の文章でも再利用するのが難しくなります。文章の組み合わせは膨大なので、現実的な語彙の管理にも向きません。
正確には、文章を大きな塊として扱うと絶対に解析できないわけではありません。区切らなければ、文章の構成要素やその組み合わせを効率よく利用しにくいことが問題です。
1文字ずつ区切ると、意味のある塊が見えにくい
反対に「サングラス」を「サ/ン/グ/ラ/ス」と分ける方法も考えられます。
この場合、「サ」や「ン」を見ただけでは、目にかける「サングラス」という単語は分かりません。モデルは複数の文字のつながりから、改めてその意味や使われ方を学ぶ必要があります。文章も多くのトークンに分かれ、処理する列が長くなります。
1文字ずつでも言語を学習するモデルは作れます。問題は、単語や言い回しとして繰り返し登場する文字列を、毎回細かく分けると非効率になりやすいことです。
そこで単語と文字の中間も使う
例えば次のように、意味のまとまりを残した区切り方なら、同じ部品をほかの文章にも使いやすくなります。
サングラス|を|かけた|少女|が|公園|を|駆け回る|。
これは説明用の区切り方です。実際にこのとおり分割されるとは限りません。 現在の言語モデルでは、単語全体や単語の一部分を使う「サブワード分割」が広く利用されます。区切り方はモデルが採用するトークナイザーと、その語彙によって変わります。
例えば「サングラス」が1トークンになるモデルもあれば、複数のトークンになるモデルもあります。トークンの境界は、国語の文法上の単語の境界と一致する必要はありません。
図1
トークンの区切り方の比較
長すぎても細かすぎても扱いにくく、実際の区切り方はモデルごとに異なります。
この文章を、どのような単位でコンピューターに渡す?
- 文章全体で1つの塊
- 同じ部品を再利用しにくい 例: 「少女」を「少年」に変えた文章も別の塊になる
- 1文字ずつ
- 意味のあるまとまりが見えにくい 例: 「サ/ン/グ/ラ/ス」と分ける
- 単語・サブワードの塊
- 意味のまとまりを残す 例: 「サングラス|を|かけた|少女|が|公園|を|駆け回る|。」(説明用の区切り)
2. トークンはどうやってコンピューターに渡されるのか?
文章を区切った後、各トークンには対応するIDが割り当てられます。言語モデルは、そのIDをもとに数値表現へ変換して処理します。
例えば、「サングラス」「少女」「公園」という文字列をそのまま計算するのではなく、対応するIDと数値表現を使い、それぞれの位置や周囲のトークンとの関係を学びます。
ここで「トークン=単語の意味そのもの」と考えないことが重要です。同じトークンでも、前後の文脈によって果たす役割が変わるからです。トークンはあくまで、モデルに入力を渡すための単位です。
3. 生成AIは次のトークンをどのように選ぶのか?
今度は、文章を区切る場面から、文章を生成する場面へ移ります。
これから雨が降りそうなので、
この続きには、「今日は」「早めに」「傘を」など、さまざまな言葉が考えられます。
文章生成型の言語モデルは、それまでの入力をもとに、次に置ける各トークンの予測確率を計算します。例えば、最初の候補が次のようになったとしましょう。
| 次のトークン候補 | 予測確率 |
|---|---|
| 今日 | 0.4 |
| 早 | 0.3 |
| その他の候補 | 合計0.3 |
ここからどの候補を選ぶかは、文章生成時の「選択方法」によって変わります。選んだトークンを文章に追加したら、その新しい文脈を使ってさらに次のトークンを予測します。
つまり、文章は最初から完成形を丸ごと選ばれているわけではありません。次の候補を予測し、選び、もう一度予測するという処理を繰り返しています。
4. 貪欲探索はなぜ単調な文章になりやすいのか?
最も単純な選択方法が貪欲探索(Greedy Search)です。毎回、現時点で最も確率が高いトークンを1つ選びます。
先ほどの例なら、最初に選ぶのは確率0.4の「今日」です。その後、「今日」に続く候補の中で「は、」の確率が0.6と最も高ければ、次は「は、」を選びます。
この時点の選択は、次のようになります。
これから雨が降りそうなので、|今日|は、|…
貪欲探索は、この瞬間ごとの選択を繰り返します。候補を何通りも比較する必要がないため、計算が比較的単純です。
問題は、今いちばん確率が高いトークンを選んでも、続き全体が自然になるとは限らないことです。
例えば、ある段階で「今日はお休みです。」が選ばれ、その後も似た言い回しが繰り返し高い確率で出ると、「今日はお休みです。今日はお休みです。……」のような単調な文章になる場合があります。
「今日」や「は、」というトークン自体が悪いわけではありません。それまでの選択を維持したまま、各時点の最有力候補だけを選び続けることが、繰り返しや局所的な不自然さを生む一因になります。
5. ビーム探索なら「今日」と「早」の続きを比べられる
そこで、最初の候補を1つに絞らず、複数の続きを残して比較するビーム探索(Beam Search)という方法があります。
図2
貪欲探索とビーム探索の候補比較
本文の数値例では、最初の候補の確率は「今日」0.4、「早」0.3。続きの確率は「は、」0.6、「めに」0.8。
貪欲探索
- 最初の段階で、確率が最も高い「今日」(0.4)だけを選ぶ
- 続きは「今日」のあとの「は、」だけを見る
残す候補の数が違う
ビーム探索
- 「今日」(0.4)と「早」(0.3)の両方を残す
- 続きまで含めた系列の確率で比べる
系列の確率は掛け算で比べる。「今日→は、」も「早→めに」も0.24で同点(足し算の1.0と1.1は文章全体の確率ではない)
「今日」と「早」を残して、さらに次の候補を見てみましょう。
| 2トークンの候補 | 1つ目の確率 | 2つ目の条件付き確率 | 単純な足し算 | 連続して出る確率 |
|---|---|---|---|---|
| 今日 → は、 | 0.4 | 0.6 | 1.0 | 0.4×0.6=0.24 |
| 早 → めに | 0.3 | 0.8 | 1.1 | 0.3×0.8=0.24 |
「早→めに」の足し算は1.1で、「今日→は、」の1.0を上回ります。参考にした書籍(鎌形桂太『IT基礎教養 自然言語処理&画像解析 “生成AI”を生み出す技術』インプレス、2024年)では、この数値例で、目先の確率が高い候補が全体でも有利とは限らないという考え方を示しています。
ただし、ここは計算方法に注意が必要です。 0.4や0.6がそれぞれのトークンの確率なら、文章全体の確率は足し算では求めません。前のトークンを選んだという条件のもとで次の確率が決まるため、掛け算します。この数値例では、両方とも0.24で同じです。
仮に「早」に続く「めに」の確率が0.9なら、こちらは 0.3×0.9=0.27 となり、「今日→は、」の0.24を上回ります。これなら、最初の一手で0.4の「今日」より低い0.3の「早」を選んだ候補が、2トークン全体では逆転することが分かります。
実際のビーム探索は、各トークンの対数確率を足し合わせるなどして候補列を評価します。これは、確率を掛け合わせて比較するのと基本的に対応する計算です。実装によっては文章の長さを調整する処理も加わります。
ビーム探索は未来のすべてを見通す方法ではありません。保持する候補数に上限があるため、最もよい文章を必ず見つけられるわけでもありません。それでも、貪欲探索が最初に捨ててしまう候補の続きを比較できる点に意味があります。
6. いつも確率が高い候補を選ぶ必要はある?
文章を生成する方法は、貪欲探索とビーム探索だけではありません。
例えばサンプリングでは、候補の予測確率に応じてランダムに次のトークンを選びます。最有力候補以外も選ばれるため、同じ入力から異なる文章が生まれます。
代表的な調整方法には、確率上位の一定数から選ぶ「Top-k」や、確率の合計が一定の範囲に達する候補群から選ぶ「Top-p」があります。
どの方法でも共通しているのは、モデルが求めた候補の確率を、どの規則で実際の文章へ変えるかという問題です。トークンをどう区切るかとは、別の処理になります。
7. トークン数と文字数が一致しないのはなぜ?
トークンは文字数でも、単語数でもありません。例えば、同じ日本語の文章でも、モデルやトークナイザーによって分割結果が変わります。空白や句読点も分割に影響します。
このため、生成AIの入力上限やAPIの利用量を「日本語1000文字だから1000トークン」と機械的に換算することはできません。入力した文章だけでなく、生成された文章もトークンとして数えられます。
実際の分割を確認したい場合は、OpenAIのTokenizer(新しいタブで開きます)で文章を入力すると、トークンの区切られ方を確認できます。なお、表示結果は選んだエンコーディングやモデルに依存します。
まとめトークンは「区切る単位」であり「選ぶ単位」でもある
生成AIのトークンは、単なる料金計算用の単位ではありません。
- 区切るときは、文章全体を一塊にする方法と、一文字ずつ分ける方法の間で、再利用しやすい文字列の単位を作ります。
- 生成するときは、次に続くトークンの確率を求め、貪欲探索・ビーム探索・サンプリングなどの方法で選びます。
- 複数トークンを比べるときは、個別の確率を単純に足して文章全体の確率とみなしてはいけません。
「どこで区切るか」と「どう選ぶか」を切り分ければ、トークン数の話も、生成AIが同じ表現を繰り返す理由も、同じ仕組みの中で理解できるようになります。
AIや機械学習がデータから予測を行う基本を確認したい場合は、「線形回帰」と「混同行列」の仕組みも参考になります。生成AIがどのような仕事に利用されているかは、AI・データ活用の9つの事例で具体的に紹介しています。
主な出典・確認資料
| 本文の箇所 | 確認に使った資料 |
|---|---|
| トークンの意味、トークン数と単語数の違い、空白の影響、入力と生成のトークン | OpenAI Help Center「トークンの理解とカウント」(新しいタブで開きます) |
| トークンの区切り方(単語・文字・サブワード) | Hugging Face「Tokenization algorithms」(新しいタブで開きます) |
| トークンと ID・数値表現 | Hugging Face「Glossary」(input IDs)(新しいタブで開きます) |
| 「これから雨が降りそうなので、」の続きの例と数値例(0.4・0.3・0.6・0.8) | IT基礎教養 自然言語処理&画像解析 “生成AI”を生み出す技術(インプレスブックス)(新しいタブで開きます) |
| 貪欲探索・ビーム探索・サンプリング、ビーム探索の評価(確率の積) | Hugging Face「Generation strategies」(新しいタブで開きます) / Hugging Face Blog「How to generate text」(新しいタブで開きます) |
| ビーム探索の評価(対数確率の和、長さの調整)、Top-k・Top-p | Hugging Face「Generation」(新しいタブで開きます) |
関連語
筆者 めめ
同じ分野の別の単元を読む
- この解説の節
- そもそも
機械学習は 何を しているの?/ 線形回帰とは?なぜ直線で 予測できるの?/ 最小二乗法とは? 「予測と 実際の ズレ」を 小さく する 仕組み (全14節)
筆者について
筆者の