アリババが公開したオープンウェイトモデルQwen3.8-2.4T-A95Bを、NVIDIAが自社のGB300 NVL72上で最適化し、Day 0でGPUあたり毎秒4Kトークン超の推論性能を実現した。2.4兆パラメータという規模のモデルを実運用に載せるには、チップ、システム、ソフトウェアの垂直統合が不可欠になる。この発表は、モデル単体の性能競争から、モデルと推論基盤を一体で提供する競争へと重心が移っていることを示している。

2.4Tパラメータモデルが実用化する意味

Qwen3.8-2.4T-A95Bは総パラメータ数2.4T、トークンごとに95Bを活性化する細粒度のMixture of Experts（MoE）アーキテクチャを採用している。1Mトークンのコンテキストウィンドウと最大128Kトークンの出力長を持ち、コーディングや大規模文書解析、複数ステップにわたるエージェントワークフローを想定している。重要なのは、パラメータ数が2.4Tに達しても、活性化されるのはトークンごとに95Bのみであり、サービングコストは総パラメータ数ではなく活性パラメータ数に比例する点だ。これにより、高密度モデルと比較してはるかに低い計算コストでフロンティア級の能力を提供できる。オープンウェイトとして公開されたことで、企業が自社インフラ上でこの規模のモデルを検証・導入できる条件が初めて整ったと言える。

GPUとシステムの垂直統合が差別化要因に

今回の発表で注目すべきは、モデルの最適化をNVIDIA自身が主導し、GB300 NVL72上でFP8精度でGPUあたり毎秒4Kトークン超、ユーザーあたり毎秒350トークン超をチューニングなしで達成した点だ。大規模モデルの推論では、チップ単体の性能ではなく、チップ間通信、メモリ帯域、KVキャッシュ管理、分散サービングの効率がボトルネックになる。NVIDIAはオープンソースエコシステムと協力して最適化カーネルや推論ランタイム、マルチノードデプロイのレシピを提供しており、モデルとインフラを一体で最適化できる立場を強みにしている。今後NVFP4精度によるさらなる性能向上も示唆されており、クラウド事業者やAIインフラを構築する企業にとって、GPUベンダーとモデル提供者の距離が調達判断に直結する時代に入った。

日本のAI導入企業が直面する選択肢

日本企業が大規模言語モデルを業務システムに組み込む際、これまではAPI経由で外部のモデルを呼び出す形態が中心だった。しかし1Mトークンのコンテキストを扱うエージェント型ワークロードでは、データ送受信のレイテンシ、通信コスト、機密情報の外部送出リスクが課題になる。オープンウェイトの2.4Tパラメータモデルを自社または国内データセンターで運用できる可能性が出てきたことは、金融、医療、製造など機密性の高い領域でのAI導入判断に影響を与えうる。もっとも、この規模のモデルを運用するにはデータセンター級の計算資源と専門的な運用体制が必要であり、実際にどの企業が自社運用に踏み切れるかは現時点では明らかになっていない。国内クラウド事業者がこのモデルをホストし、国内データセンターから提供する形態が現実的な選択肢になる可能性がある。