トークンとは？

詳しい解説

トークンは LLM がテキストを処理する際の最小単位で、英語では単語の断片 (subword)、日本語ではおおむね 1〜2 文字に相当します。 LLM は入力テキストをトークン列に変換 (Tokenize) し、それぞれを数値ベクトルに埋め込んで処理します。

料金体系もトークン単位で設定されており、入力 1,000 トークンあたり / 出力 1,000 トークンあたりの単価が API ごとに公開されています。 また、モデルが一度に扱える最大トークン数 (コンテキストウィンドウ) はモデルによって 8K〜1M と幅があります。

料金見積もりや長文処理の設計では、入力データのトークン数を事前に推定することが重要です。