Top-p (Nucleus Sampling)とは？

詳しい解説

Top-p (Nucleus Sampling) は、LLM が次のトークンを選ぶ際、確率の高い順にトークンを並べ、累積確率が p に達するまでの上位候補だけを選択肢として残す手法です。

例えば p=0.9 なら、累積確率が 90% に達するまでの少数の候補だけが残り、極端に確率の低い (突飛な) トークンは除外されます。 結果として「適度に多様だが破綻しにくい」出力が得られるため、Temperature とセットで品質チューニングに使われます。

一般的には Temperature を主軸に調整し、Top-p は 0.9〜1.0 で固定するか、両方併用しないでどちらか片方で制御する設計が推奨されます。

実務での使いどころ

Temperature と同じく API 側の設定項目です。極端に確率の低い単語を除外するため、「多様性は欲しいが破綻はさせたくない」場面で使われます。0.9 前後に固定して、調整は Temperature 側で行う運用が一般的です。

混同しやすい用語との違い

Temperature が確率分布そのものの形を変えるのに対し、Top-p は候補の範囲を絞り込みます。効果が似ているため、両方を同時に調整すると原因の切り分けができなくなります。どちらか一方に絞ってください。