RLHF (人間のフィードバックによる強化学習)とは？

詳しい解説

RLHF (Reinforcement Learning from Human Feedback) は、LLM の事前学習後に、人間が「より好ましい」と判断した出力を学習させて、モデルを人間の意図・価値観に沿った振る舞いに近づける手法です。

具体的には、複数のモデル出力に対して人間が優劣をラベル付けし、その選好データから報酬モデルを学習。続いて強化学習 (PPO など) で LLM の方策をこの報酬モデルに従って更新します。

ChatGPT が「丁寧で安全な対話」を実現できているのは RLHF (および後継の DPO や Constitutional AI) によるアライメントの貢献が大きいとされます。一方で、人手のラベリングコストやバイアス混入のリスクも課題として研究が続いています。

実務での使いどころ

一般の業務担当者が直接触る技術ではありませんが、「なぜ ChatGPT は不適切な質問に答えないのか」「なぜ回答の口調が丁寧なのか」を理解する鍵になります。モデル選定の際、安全性の設計方針を比較する観点として役立ちます。

混同しやすい用語との違い

事前学習が「大量のテキストから言語を覚える」段階であるのに対し、RLHF は「人間が好む答え方を学ぶ」段階です。知識の量ではなく、答え方の調整に関わる工程だと理解すると混乱しません。