Hugging Faceは2026年6月30日、オープンな評価結果スキーマ「Every Eval Ever（EEE）」と自社の「Community Evals」を連携させた。これにより、同じモデルでも評価者や設定によって最大15ポイントも異なっていたベンチマークスコアの混乱を解消し、誰が・どの設定で評価したかを追跡可能にする。AIモデルの能力比較と安全性評価の土台を再構築する動きだ。

同じモデルでスコアが15ポイント変わる現実

LLaMA 65BのMMLUスコアは、ある評価では63.7、別の評価では48.8と報告されている。この差は、生成設定や評価ハーネスの違いに起因するが、従来はそれらの設定が十分に記録されていなかった。EEEは「誰が」「どのモデルを」「どうアクセスし」「どんな生成設定で」評価したかを単一のJSONスキーマで記録する。論文、リーダーボード、ブログ、ハーネスログなど31種類の形式で散在していた評価データを同じ形状に変換し、比較可能性を飛躍的に高める設計だ。

Community Evalsとの連携で「評価の来歴」が可視化される

Hugging FaceのCommunity Evalsは、ベンチマークデータセットごとにリーダーボードを自動生成する仕組みだ。今回の連携により、EEE形式で記録された評価結果をCommunity Evals向けのYAMLファイルに自動変換できるようになった。モデルページ上で評価スコアを見たユーザーは、そのスコアの完全な来歴——誰が評価を実行し、公式の検証済みチェックマークが付いているかどうか——を追跡できる。これは一次評価者（モデル開発元）と三次評価者（第三者）の両方に開かれており、評価の透明性を組織横断で担保する仕組みである。

評価再現コスト「数十万ドル相当」の無駄を省く意義

EEEのデータストアには既に約22,000モデル・2,200ベンチマークにわたる229,000件の評価結果が集約されている。これをゼロから再現しようとすれば数十万ドルの計算資源が必要になると試算されており、一度生成された評価データを散逸させず再利用可能にすること自体が経済的価値を持つ。研究機関やスタートアップにとっては、限られた予算の中で信頼性の高いモデル比較を行える環境が整うことを意味し、評価格差の縮小に直結する。

オープンソース評価基盤が生む「次の競争軸」

評価結果の標準化と集約は、単なる利便性の向上にとどまらない。モデルの安全性評価やガバナンス判断において、評価の来歴と再現性は法規制対応の根拠としても重要になる。Hugging Faceが主導するこの取り組みは、非公開API経由の評価が一般的なクローズドモデルとの間で、説明責任の水準に差をつける可能性がある。オープンな評価基盤を持つエコシステムが、モデル性能の競争に加えて「信頼性の証明可能性」という新たな競争軸を形成しつつある。