AIの事後訓練は指示追従性を高める一方、出力から多様性が失われる「意味的モード崩壊」を引き起こす。このトレードオフはモデルが大規模になるほど深刻化する。カーネギーメロン大学、ヨハネス・ケプラー大学、Appleの研究チームは、事前学習時の多様な意味分布を事後訓練でも保持する「注釈アンカー訓練」を提案。従来の教師ありファインチューニングと比べ、多様性の低下を6分の1に抑制できるとした。

規模拡大で悪化する「賢さ」と「豊かさ」の相反

大規模言語モデルを実用的にするファインチューニングには、出力を低エントロピー（確実性の高い状態）に偏らせる副作用がある。研究チームは、この過程で事前学習が獲得した幅広い知識と表現の多様性が損なわれる「意味的モード崩壊」に着目。特にモデルの規模が大きくなるほど、安全で平均的な回答に収束しやすく、創造性やニッチな知識の引き出し能力が低下する問題が顕在化していた。この現象は、モデル開発における「性能」と「多様性」の新たなジレンマとして浮上している。

事前学習の「地図」を推論時に活用する仕組み

提案手法「注釈アンカー訓練」の核心は、文書と意味注釈のペアで事前学習を行い、データ全体の意味的な広がりを反映した注釈分布を形成する点にある。事後訓練の段階でこの分布を意図的に保持することで、推論時に多様な注釈をサンプリングし、それを生成の起点（アンカー）として利用可能になる。これにより、モデルは指示追従性という事後訓練の目的を達成しながら、事前学習由来の意味的豊かさを出力に転写できる。まさに、広大な知識地図を手放さずに、目的地までの道案内を上手くなる手法といえる。

Appleの基盤モデル戦略を読み解く研究発表

本研究の著者の一部がApple在籍時に取り組んだ点は示唆的である。AppleはオンデバイスAIとプライバシー保護を軸にしつつ、汎用的な会話能力と創造性の両立が求められる独自のAI戦略を進める。今回の成果は、モデルを単に高性能化するだけでなく、ユーザーの多様な意図や文脈に対してより豊かに応答できる基盤技術の構築を志向している証左だ。資源効率と表現力を両立するこの手法は、今後企業が差別化を図る上での重要な競争軸となる。