アレン人工知能研究所（Ai2）は、あらゆるデータの分布から密度とスコアを単一のTransformerで一度に推定する「DiScoFormer」を発表した。従来手法と異なり、分布ごとの再学習を必要とせず、拡散モデルの推論効率化や科学シミュレーションへの応用が視野に入る。

古典的手法を包含する注意機構の一般化

DiScoFormerの核心は、古典的なカーネル密度推定（KDE）をTransformerの注意機構が数学的に一般化している点にある。研究チームは、単一のクロスアテンション・ブロックが原理的にKDEの密度とスコアを再現可能であることを解析的に示した。これは、注意機構がKDEにおける固定された帯域幅を、データに応じて適応的に変化させる複数のスケールへと拡張できることを意味する。既存の統計手法をブラックボックスで置き換えるのではなく、その限界を包含した上で、より高次元のデータに対しても精度を維持できる設計となっている。

密度とスコアの同時推定が生む自己適応能力

このモデルは、密度とスコア（対数密度の勾配）という数学的に関連する二つの量を、共有バックボーンと二つの出力ヘッドで同時に推定する。この設計の利点はパラメータ効率だけではない。二つの出力間の勾配一致性を監視する「無ラベルの一貫性損失」を考案し、推論時にもこの損失に基づいてモデル自体を数ステップで自己適応させる機能を実現した。これにより、学習時とは異なる分布に対しても、正解ラベルなしでその場で推定精度を向上させることが可能になり、実環境での頑健性を高めている。

訓練データに隠された戦略的普遍性の追求

学習には主にガウス混合モデル（GMM）が用いられた。GMMは理論上あらゆる滑らかな分布を近似できる普遍性を持ち、かつ密度とスコアの解析解が常に得られるため、正確な教師信号による大規模学習に適していたためだ。これは、単に多様な実データを集めるのではなく、統計的に「全ての分布」を内包しうる基盤的な分布族で訓練することで、特定のドメインに依存しない汎用的な分布推定能力を引き出すという、メタな開発戦略を示している。

拡散モデルと科学計算を再定義する汎用推論

DiScoFormerは、推論時に学習を必要としない特性から、拡散モデルによる画像生成など、スコア関数を繰り返し利用するプロセスの中核部品としての応用が期待される。現在はモデルごとに専用のスコア推定器が必要だが、DiScoFormerは異なるデータ分布に対しても即座にスコアを提供できるため、生成AIの推論パイプラインを効率化する可能性がある。さらに、プラズマ物理などの粒子シミュレーションにおけるベイズサンプリングの高速化にも直結する技術であり、科学的発見のサイクル自体を加速させる基盤技術となりうる。