RLHF（人間のフィードバックからの強化学習）とは、AIが出した複数の回答のうち、どちらがより良いかを人間が評価し、その評価結果を使ってAIの出力を改善していく手法です。
図でみるRLHF
- 1モデルが出力を生成
- 2人間が評価
- 3報酬モデルを作成
- 4強化学習で改善
最後のステップから最初のステップへ戻り、繰り返します
RLHFでは、モデルの出力を人間が評価し、その評価をもとにモデルを繰り返し改善していきます。
具体例 RLHFの身近な例
同じ質問に対するAIの2つの回答案を人間の評価者が見比べて「こちらの方が丁寧で分かりやすい」と選ぶ作業を大量に繰り返すことで、AIはより人間に好まれる回答スタイルを学んでいきます。
重要な点
- AIの複数の回答案を人間が評価し、その結果でAIを改善する手法
- 評価データから「良い回答らしさ」を判定する報酬モデルを作り、強化学習で調整する
- ChatGPTの「指示への従いやすさ」の多くはRLHFによる調整の効果
技術的背景
[object Object]
よくある誤解
- RLHFは人間がすべての回答を書いているわけではなく、人間はどちらの回答が良いかを評価するだけで、モデル自身が改善されます。
学習の前後関係
RLHF
先に理解しておきたい用語
よくある質問
RLHFは何のために行われますか？
モデルの出力を、より役立つ・安全・人間の意図に沿ったものにするために行われます。ChatGPTのような対話AIの品質向上に使われています。
