トークンとは？

詳しい解説

トークンは LLM がテキストを処理する際の最小単位で、英語では単語の断片 (subword)、日本語ではおおむね 1〜2 文字に相当します。 LLM は入力テキストをトークン列に変換 (Tokenize) し、それぞれを数値ベクトルに埋め込んで処理します。

料金体系もトークン単位で設定されており、入力 1,000 トークンあたり / 出力 1,000 トークンあたりの単価が API ごとに公開されています。 また、モデルが一度に扱える最大トークン数 (コンテキストウィンドウ) はモデルによって 8K〜1M と幅があります。

料金見積もりや長文処理の設計では、入力データのトークン数を事前に推定することが重要です。

実務での使いどころ

API を使って生成AIを組み込む際、コストの見積もりに直結します。入力と出力のトークン数から月額費用を計算するため、長い資料を毎回読ませる設計にすると想定以上の請求になります。

長文を扱う業務では、全文を毎回送るのではなく、必要な部分だけを検索して渡す設計にするとトークン消費を大きく抑えられます。

混同しやすい用語との違い

文字数とトークン数は一致しません。日本語ではおおむね1文字が1〜2トークンに相当するため、「1万文字だから1万トークン」という計算は誤りです。コスト試算では必ずトークン換算で見積もってください。