大規模言語モデル向け推論ライブラリggmlのCPU版に、AVX2命令セットを用いたnvfp4ドット積の最適化がマージされた。この変更は、4ビット浮動小数点形式での行列演算を高速化し、特定条件下でのルックアップテーブルにUE4M3方式を採用する。対応プラットフォームはApple Silicon、Linux x64、Android arm64、Windows x64など多岐にわたり、GPU非依存の推論環境に新たな性能向上の道を開く。

AVX2最適化がもたらす4ビット演算の実用性向上

今回のコミットで追加されたAVX2向け最適化は、nvfp4形式のドット積計算をCPU上で加速する。nvfp4はNVIDIAが定義した4ビット浮動小数点フォーマットで、メモリ使用量と計算負荷を大幅に削減できる。ルックアップテーブルにUE4M3方式を採用した点は、演算精度と速度のトレードオフを実装段階で調整しようとする設計判断を示す。これにより、AVX2対応のx86プロセッサを搭載するサーバーやクライアントPCにおいて、量子化モデルの推論スループットが改善される見込みだ。

Apple SiliconとKleidiAIが示すArm最適化の分岐点

macOS Apple Silicon向けビルドでは、標準ビルドに加えてKleidiAIを有効化した構成が用意された。KleidiAIはArmアーキテクチャ向けのAIワークロード最適化ライブラリ群であり、CPUコア内部の行列演算ユニットを効率的に活用する。この分岐は、同一のArm命令セット上でも、SoCの世代やマイクロアーキテクチャに応じた最適な実行パスを選択する必要性が高まっていることを示している。Apple Siliconユーザーは、今後のアップデートでモデル推論の応答性向上を実感する可能性がある。

プラットフォーム別CI状況が映すエッジ展開の現実

リリースノートに併記されたCIステータスは、プラットフォーム間の開発優先度と安定性を映す鏡だ。Linux x64はCPU、Vulkan、ROCm、OpenVINO、SYCLと多様なバックエンドでアクティブだが、macOS Intel版やopenEulerの一部構成は明示的にDISABLEDとされている。Android arm64とWindows arm64がアクティブである一方、macOS Intelが無効化されている事実は、エッジAIの主戦場がモバイルArmとWindows on Armへ移行しつつある状況と符合する。企業のAI導入計画では、このようなサポート状況の非対称性を前提としたデバイス選定が必要になる。

インテルCPUからRISC-V不在まで、半導体勢力図との連動

AVX2最適化の恩恵を受けるのは主にインテル製および互換x86プロセッサであり、インテルがAI PC戦略で掲げるCPU推論の訴求点と技術的に重なる。一方で、RISC-Vアーキテクチャ向けビルドは今回のリストに見当たらず、オープンソース推論スタックにおけるRISC-V対応の遅れがデータとして現れている。また、Linux s390x（IBM Z）向けビルドの存在は、金融機関や政府系システムでのオンプレミスAI推論需要に応える姿勢の表れだ。CPU推論の高速化は、単なる技術改善を超えて、半導体ベンダー間の競争条件を変える要素になりつつある。