Quiz · Tokenization

トークン化のクイズ

3 問。すべて選んだら採点ボタンを押してください。

Q1. 現代の LLM (Claude/GPT) が採用しているトークン化の粒度は?

文字単位単語単位サブワード (BPE 等) 句単位

Q2. 日本語が英語より API 料金が高くなる主な理由は?

日本語は文字数が多いトークナイザが英語コーパス中心で学習されており、日本語は約 3 倍のトークンを消費する Anthropic が日本語に追加料金を課している日本語の文法処理に余分な計算が必要

Q3. BPE (Byte-Pair Encoding) の学習で、トークン (記号) は最終的にどう増やされるか?

ランダムに選んだペアをマージ最も頻度の高い隣接ペアを 1 つの記号にマージしていく意味的に近い単語をマージ全ての可能なペアを 1 度ずつマージ