Temperatureとは？

詳しい解説

Temperature は LLM が次のトークンを選ぶ際の確率分布を、どの程度なだらかにするかを制御するパラメータです。 0 に近いほどモデルは最も確率の高いトークンを選びやすくなり、出力が決定論的・再現性高くなります。 1 を超えると確率分布がフラット化し、出力が多様で創造的になりますが、的外れな回答も増える傾向があります。

要約・抽出・コード生成など正確性が重要なタスクでは 0.0〜0.3、ブログ記事・キャッチコピー・小説などクリエイティブな出力には 0.7〜1.0 を選ぶのが一般的です。 Top-p / Top-k といったサンプリングパラメータと組み合わせて調整します。