機械学習モデルの追加学習（SFT）において、高い推論能力を維持したまま特定領域の性能を向上させる手法がAWSより公開された。同社のモデル「Amazon Nova 2」を用いた検証では、算数問題の正答率が70%から6%に急落する「推論の喪失」をほぼ完全に回復。この成果は、AIの業務特化と汎用性能の両立に新たな選択肢を提供する。

追加学習で「考える力」が消える構造的問題

ビジネス特化型のAIを構築する際、入力と出力のペアだけを与える追加学習（SFT）では、モデルが元々持っていた連鎖的な思考能力が著しく劣化する「推論抑制問題」が知られていた。今回の実験では、ベースモデルが70%の正答率を誇った算数タスクが、追加学習後にはわずか6%に低下。これは、特定業務への最適化が、AIの汎用的な知的基盤を破壊するという実用的なリスクを明確に示すものだ。AWSはこの現象を「破滅的忘却」と呼び、業務導入の障壁と位置づけている。

自らの思考を再利用する「自己蒸留推論」の仕組み

AWSが考案した「自己蒸留推論（SDR: Self-Distilled Reasoning）」では、教師モデルや人手による正解データを用意せず、基盤モデル自らが生成した思考の連鎖（CoT）を訓練データに混ぜ込む。具体的には、論理的推論の過程を含まない既存データセットに対し、推論能力を保ったまま応答する初期モデルの出力を「疑似的な思考トレース」として活用する。この手法は、追加学習の最中にモデル自身の知識を正則化し、性能のバランスを保つ点に特徴がある。

モデル結合を超える性能回復と二律背反の解消

従来、忘却対策として使われてきた「モデル結合」は、追加学習後のモデルと元のモデルを事後的に合成する手法だが、特化性能と汎用性能のトレードオフが不可避だった。今回のSDRでは、算数の正答率を70%とほぼ完全に維持しながら、モデル結合（68%）を上回り、かつ特化タスクの平均性能は6.5%以上向上している。追加学習の訓練段階で統合的に解決することで、業務特化と基盤能力の両取りが現実的になったと言える。

AI導入の現場に与えるコストと設計思想の変化

この手法の実用上の価値は、人手によるアノテーション費用を発生させず、既存のSFT用データセットにドメインを問わず適用できる点にある。日本企業のAI導入においても、限られた業務データでモデルを調整しながら、RAGとの併用や複雑な問い合わせ対応といった高度な推論を維持する道が開ける可能性がある。高価な教師モデルや外部APIへの依存を減らし、単一モデル内での完結を志向するこの設計は、プライベートクラウド環境での機密性重視の運用とも整合性が高い。

クラウド事業者とモデル開発の競争軸に波及

AWSがAmazon Novaのアップデートに合わせて自己蒸留の有効性を発表したことは、クラウド事業者間の競争が単なるモデルサイズや計算資源の量から、調整技術の洗練度へと移行する兆候を示唆する。GPUを大量に消費する事前学習だけでなく、モデルの振る舞いを制御するファインチューニング手法の優劣が、顧客獲得の差別化要因になりつつある。現時点で他社クラウドやオープンモデルへの適用可否は明らかにされていないが、類似の自己蒸留研究と併せて、技術の一般化が進むかが焦点となる。