ソフトウェア開発を任せるAIの実力を測る共通テストに、大規模な設計上の欠陥が見つかった。OpenAIによる内部監査で、約30％の問題が「壊れている」と判定され、モデルの能力を正しく評価できていない実態が浮き彫りになった。この結果は、評価手法の信頼性そのものが、モデル性能の向上スピードに追いついていない構造的課題を示している。

共通テストの「問題」が問題だった実態

OpenAIが実施した詳細な監査により、公開コードベンチマーク「SWE-Bench Pro」に含まれる731件のタスクのうち、約34％にあたる249件に何らかの欠陥が確認された。自動フィルタリングと並行して行われた、熟練ソフトウェアエンジニア5名による独立した人手レビューでも、同様の規模でタスクの「破損」が認められている。具体的には、AIへの指示が曖昧で合格条件が不明瞭な『仕様不足』や、正しい実装でも隠れたテストが細部の違いを許容せず不合格にする『過剰に厳格なテスト』が多数を占めた。つまり、モデルがタスクを解けなかったのではなく、タスクの設計自体が解答を正しく評価できない状態だったことを示している。

数値が語る「幻の性能改善」と乖離のリスク

このベンチマークにおいて、最前線モデルの合格率は8カ月で23.3％から80.3％へ急上昇していた。しかしこの数値の裏側では、テストの欠陥によって、不完全な修正が合格とみなされていたり、満たすべき要件が隠蔽されていたりする。評価パイプラインが機能不全を起こすと、開発現場は実際には存在しない「改善」に資源を配分するリスクを負う。OpenAIが今回、モデルの安全性評価フレームワークに絡めて監査結果を公表した背景には、評価の歪みが研究開発の優先順位を誤らせ、安全対策の前提すら揺るがすという強い危機感がある。

高難度テストのジレンマと「評価者AI」の台頭

今回の監査で浮かび上がった構造的課題は、『難しく、かつ公平なテスト』を作り続けることの本質的な困難さだ。より長期で複雑な現実的タスクを課そうとすればするほど、出題意図と評価基準の間に矛盾が生じやすくなる。このジレンマに対する暫定的な解として、OpenAIはデータ品質チェックにエージェントAIを投入する手法の有効性を示した。モデルが出した解答のログ、タスクのメタデータ、失敗追跡情報を分析し、問題を自動でフラグ付けするパイプラインを構築することで、人間のレビュー担当者の負荷を軽減しつつ、大規模データの品質を担保する新しい評価の形が模索されている。