マルチモーダル大規模言語モデル（MLLM）が、一人称視点の動画から出来事の順序や因果を正しく理解することは依然として難しい。バージニア工科大学やハーバード大学などの研究チームは、時間軸を歪めた映像と正しい映像を比較してAIを訓練する新たな強化学習手法「TGPO」を開発。この手法は、モデルがフレーム単位の空間的な近道に頼るのではなく、一貫した時系列推論を獲得するよう促す。

AIが見落とす「時間」―空間ショートカットの罠

動画を解析するMLLMが、実は時間的なつながりをあまり考慮せず、一瞬の画像から答えを推測する「空間ショートカット」に依存している問題が明らかになっている。例えば料理動画で、材料を切る前と後の静止画が単独で認識できれば、順番が多少前後しても推論が成立してしまう。これにより、一人称視点の動画解析のように、出来事の因果や順序が本質的に重要なタスクでの信頼性が損なわれていた。本研究は、この欠陥の根源が「時間的推論を明示的に評価しない訓練目標」にあると指摘する。

時間軸を歪ませて学習させる「TGPO」の報酬設計

研究チームが提案するTGPO（Temporal Global Policy Optimization）は、AIに正しい時間順序とシャッフルされた時間順序の両方の動画を入力し、それぞれの出力結果を対比させることで、時間的一貫性を報酬として与える強化学習（RLVR）のフレームワークである。この「検証可能な報酬」により、モデルは時系列に沿った推論のほうが高い評価を得られると学習する。GRPOおよびGSPOといった既存の強化学習アルゴリズムとも統合可能で、コールドスタートからの訓練をサポートする設計となっている。

Apple在籍時の知見が結実、5つのベンチマークで性能改善

本研究の主要著者4名が注釈にある通り「業務はApple在籍時に行われた」ことが示すように、この技術は実デバイスでの応用を強く意識したものだ。スマートグラスやウェアラブルカメラで記録される膨大な一人称視点データの産業活用が、研究の推進力となっている。実際の評価では、自己中心視点の動画理解に特化した5つのベンチマークにおいて、既存のRLベースの動画推論手法を一貫して上回る性能を達成。単なる認識精度だけでなく、時間的なグラウンディングと因果関係の一貫性が向上した点が評価された。

次世代映像AIへ波及する「時間認識」競争

今回の成果は、映像AIの研究領域において「時間認識」が空間認識に続く重要な評価軸として浮上してきたことを示唆する。大規模なデータセットやモデル規模を競うフェーズから、いかに人間の認知に近い形で物語や因果を理解させるかという質的な競争への移行が加速している。特に一人称視点は、次世代のパーソナルAIアシスタントの中核技術と見なされており、AppleやMetaなどが注力する分野だ。TGPOのような、データ量ではなく学習の「報酬設計」の工夫によって性能を引き上げる手法は、より小規模な組織や研究機関にも参入余地を生み出す可能性がある。