大規模言語モデルの推論速度を左右する技術「マルチトークン予測（MTP）」の実装改良が、Qwenの最新バージョンに組み込まれた。従来の事前正規化から事後正規化への内部状態の切替によって、モデルが複数トークンを同時予測する際の安定性が向上している。同時に、macOS Apple SiliconからWindowsのCUDA、さらにはOpenVINOやROCmまで、多様な実行環境への対応が一挙に更新され、推論エンジンの裾野が広がった。

この記事を一言でいうと

Qwenの内部で使われるマルチトークン予測機構の正規化タイミングが変更され、推論の効率と安定性が改善された。さらに、Apple SiliconやKleidiAI、各種GPU環境での動作確認が進み、エッジからデータセンターまで幅広い実行環境への適応が進展している。

なぜ話題なのか

大規模言語モデルがテキストを生成する際、通常は1単語ずつ逐次的に出力する。これに対しマルチトークン予測は、一度に複数の次単語を推測し、生成速度を大幅に高める技術として注目されている。Qwenの改良は、MTPの実行時に内部表現の正規化を行うタイミングを変えることで、予測精度を保ちながら処理を効率化する点にある。同時に、今回のリリースではmacOSのApple Silicon向けにKleidiAIによる最適化が有効化されたほか、Linuxのs390xアーキテクチャやAndroid、WindowsのHIP環境まで含む広範なプラットフォームが対象となっている。推論モデルの性能改善と、多様なハードウェアへの同時対応は、単なる機能追加を超え、言語モデル配備の選択肢を拡大する動きとして捉えられている。

一般読者や企業にどう関係するのか

企業が自社サービスに言語モデルを組み込む際、推論速度の改善は応答時間の短縮やサーバーコストの低減に直結する。MTPの改良は、同等の生成品質をより速く提供できる可能性を示している。macOS Apple Siliconでの最適化は、個人開発者がMac上でプロトタイプ開発を行う際の効率向上に寄与する。また、Android対応が含まれることで、オンデバイス推論を想定したモバイルアプリケーション開発でも恩恵を受ける可能性がある。日本国内のSIerやスタートアップがオンプレミス環境でQwenを動作させる際も、OpenVINOやVulkanを含むCPU・GPU混在環境への対応状況が具体的な選択指標の一つになる。

AI業界の構造で見ると何が変わるのか

MTPの実装改良は、推論ライブラリの内部設計における小さな変更だが、多様なハードウェアへの同時対応と組み合わさることで、推論レイヤーの競争が単なるモデルサイズや精度比較から「配備効率と実行環境の広さ」へと重心を移しつつある兆候を示している。特に、KleidiAIによるARMプロセッサ最適化や、ROCmやSYCLといったNVIDIA以外のGPU環境への対応継続は、推論インフラのマルチベンダー化を下支えする要素として機能する。特定のクラウドGPUに依存しない推論環境を整備できるかどうかが、言語モデル提供者やクラウド事業者以外のプレイヤーにも影響を及ぼす構造変化として捉えられる。

一次情報から確認できる事実

Qwenのコードベースにおいて、マルチトークン予測に使われる内部の隠れ状態に対して、従来は事前正規化（pre_norm）を使用していた部分が、事後正規化（post-norm）を使うよう変更されている。これに伴い、変数名がpre_normからnextnへと改称された。この変更は、MTPの処理フロー内で状態をより安定させつつ計算効率を上げる意図で加えられた。 動作確認環境としては、macOSのApple Silicon（KleidiAI有効版を含む）、macOS Intel、iOS XCFramework、Linux系ではUbuntu x64およびarm64のCPU版、Vulkan版、s390x版、ROCm 7.2版、OpenVINO版が確認されている。SYCL FP32版は無効化されている。Android arm64、Windowsではx64およびarm64のCPU版に加え、CUDA 12.4およびCUDA 13.3、Vulkan、HIPが確認されており、SYCLは無効化。openEuler環境では310pプラットフォームと910bプラットフォーム（ACL Graph使用）が確認されている。UIに関する更新も含まれている。

関連企業・関連技術

  • Qwen（モデル開発元）: 大規模言語モデルを提供し、推論ライブラリの改良を継続
  • KleidiAI: ARMアーキテクチャ向けのAI推論最適化技術。Apple Silicon上で有効化
  • ROCm: AMD GPU向けのオープンソースコンピューティングプラットフォーム
  • OpenVINO: インテルが提供する推論最適化ツールキット
  • SYCL / oneAPI: マルチベンダーGPU対応を目指す並列プログラミングの標準仕様
  • Vulkan: クロスプラットフォームのGPU API。モバイルからデスクトップまでカバー
  • ACL（Arm Compute Library）: Armプロセッサ向けのコンピューティングライブラリ。openEuler環境で使用

今後の論点

MTPの事後正規化への移行が、実運用上の生成精度やスループットにどの程度のインパクトを与えるのか、定量的なベンチマークが待たれる。無効化されたSYCL環境の再有効化時期や、Windows向けHIP対応の安定度も、非NVIDIA環境を重視するユーザーにとっては注目点となる。また、openEuler環境での対応が具体的にどの産業分野での活用を意図しているのか、追加情報が求められる。