Appleの機械学習研究チームが、複数の視点から撮影された画像を処理するマルチビューTransformer向けの新たな位置符号化手法「RayRoPE」を発表した。従来手法では困難だった、場面の幾何構造に適応しつつSE(3)不変性を保つという要件を両立し、新規視点合成タスクでLPIPS指標を約15%改善する成果を示している。自律走行やロボティクス、AR/VRなど、3次元空間の高精度な復元を必要とする領域に波及する可能性がある。

光線上の予測点を用いた幾何適応型の位置符号化

RayRoPEの中核は、画像パッチの位置を光線の方向ではなく、その光線上で予測される3次元点に基づいて表現する点にある。従来の絶対的・相対的な位置符号化では、シーン固有の幾何情報を十分に捉えられず、またSE(3)変換（3次元空間での回転と並進）に対する不変性と、多周波数での類似度計算を同時に実現できなかった。RayRoPEはクエリフレームにおける射影座標を用いることで、カメラの位置や向きが変わっても一貫した注意機構を可能にする。さらに、光線上の3次元点の予測には不確実性が伴うため、期待値としての位置符号化を解析的に計算する機構を組み込んでいる点も特徴である。

新規視点合成で15%の相対改善、深度推定にも有効性

研究チームはCO3Dデータセットを用いた新規視点合成とステレオ深度推定の2つのタスクでRayRoPEを検証した。新規視点合成においては、知覚的類似度を測るLPIPS指標で既存の位置符号化手法と比較して15%の相対改善を達成している。また、RGB-D入力（深度情報付き画像）をシームレスに統合できる点も実用上の利点であり、深度情報を位置符号化に活用できない代替手法に対して、さらに大きな性能差を示した。実験はカーネギーメロン大学との共同研究としてECCV 2026に採択されている。

3次元AIを支える基盤技術と産業レイヤーへの波及

本成果は、マルチビューTransformerという特定のモデルアーキテクチャにおける位置符号化の改善だが、その影響はモデルレイヤーを超えて広がる。高精度な3次元復元と空間認識は、自律走行車両の環境認識、AR/VRデバイスの空間マッピング、ロボットの把持計画、さらには建設・製造分野でのデジタルツイン構築など、産業応用の共通基盤である。日本企業では、製造業の自動検査や建設現場の進捗管理に3次元復元技術を導入する動きがあり、こうした現場で精度向上が導入判断の後押しとなる可能性がある。クラウド上のGPU推論とエッジ推論の双方で利用が想定され、計算コストと精度のバランスが今後の焦点となる。

Appleの研究公開戦略と今後の論点

Appleは本論文を公式の機械学習研究ブログで公開し、手法の詳細と著者情報を明らかにしている。同社の研究公開は、製品への直接的な実装を示唆するものではないが、自社デバイスの空間認識機能（LiDARスキャナやARKit）と技術的に関連しうる領域である。今後の論点として、第一に、RayRoPEの計算オーバーヘッドが実時間処理を前提とするアプリケーションで許容されるかという点、第二に、RGB-D以外のセンサーモダリティ（LiDAR点群やイベントカメラ）への拡張可能性、第三に、事前学習済み大規模モデルに組み込んだ際の転移学習性能の検証が挙げられる。これらが明らかになれば、産業導入の具体的な道筋が見えてくるだろう。