AIをローカル環境で動かすための推論エンジン「llama.cpp」に、MTP（マルチトークン予測）処理を高速化するCUDA最適化が取り込まれた。特定の量子化モデルを用いた実測では、1秒あたりのトークン生成数が最大で約14tok/s向上している。推論の体感速度を左右するドラフト生成の効率化であり、ローカルAI利用のハードルをさらに下げる一手といえる。

この記事を一言でいうと

llama.cppのMTP推論パイプラインに、CUDAカーネル「mul_mat_vec_q_moe」がPDL（パイプライン記述言語）へ登録されたことで、GPU上での命令スケジューリングが最適化され、MTPドラフト生成の実行速度が向上した。

なぜ話題なのか

MTP（Multi-Token Prediction）は、次に来る単語を一度に複数予測し、そこから本命のトークンを選び取る推論高速化手法だ。この「ドラフト生成」が速くなれば、同じ時間でより多くの候補を評価でき、結果としてユーザーが待つ時間が短縮される。今回の変更は、そのドラフト生成の中核演算をGPU上でより効率的に実行できるようスケジューリングを見直したもので、コード変更そのものは一見地味だが、実測値で明確な速度向上が確認されている点が重要だ。

一般読者や企業にどう関係するのか

ローカルでLLMを動かすケースでは、GPUの演算効率が使い勝手を直接左右する。今回の最適化は、Qwen 3.6-35B-A3BのようなMTP対応の大規模モデルを、コンシューマ向けGPUでもより高速に動作させることを可能にする。日本国内でも、プライバシー保護やデータ主権の観点からオンプレミス推論を選ぶ企業が増えており、こうした推論エンジンの速度改善は、社内文書要約やコードレビュー支援といった実業務へのAI導入を後押しする材料となる。

AI業界の構造で見ると何が変わるのか

推論の高速化は、モデル開発と推論エンジン開発の分業が進む文脈で「エンジン側の競争力」を下支えする。llama.cppはオープンソースの推論エンジンとして、クラウドAPIに依存しないローカル推論の普及を牽引してきた。CUDAカーネルのPDL登録による最適化は、同様の手法が他のモデルやハードウェアにも波及する可能性を示唆している。推論速度の競争が、単なるモデル性能の競争から、実行効率を含めたシステム全体の競争へと移行していることの一例だ。

一次情報から確認できる事実

  • llama.cppのPR #24087で、mul_mat_vec_q_moe関数がPDLに登録された
  • 実測はB4500環境で実施され、指定されたQwen MTPモデル（Q4_K_M量子化）を使用
  • 9種類のタスク（コード生成、要約、翻訳、数学推論など）でBefore/Afterを比較
  • すべてのタスクでtok/sが向上。最大はsummarizeタスクの226.6→240.2 tok/s（約6%向上）
  • サーバ起動オプションには--spec-type draft-mtpと--spec-draft-n-max 2が指定されている
  • 今回有効化されたのはWindows x64（CUDA 12/13）ビルドのみで、macOSやVulkan、ROCmなど他プラットフォームは明示的にDISABLEDまたは未対象

関連企業・関連技術

  • llama.cpp: オープンソースのLLM推論エンジン。CUDAやMetalなど多様なバックエンドをサポート
  • Qwen: Alibaba系の大規模言語モデル。MTP対応モデルを提供
  • NVIDIA CUDA: GPU並列計算プラットフォーム。今回の最適化はCUDAカーネルのスケジューリング改善が核
  • PDL（Pipeline Description Language）: llama.cpp内部でGPU命令の実行順序を制御する仕組み。カーネル間のオーバーラップ実行を可能にする
  • MTP（Multi-Token Prediction）: 投機的デコーディングの一種で、複数トークンのドラフトを生成することで推論を高速化する手法

今後の論点

  • CUDA以外のバックエンド（Vulkan、ROCm、Metal）への展開時期と効果の検証
  • 異なる量子化形式や他モデルでの速度向上の再現性
  • PDL最適化が推論精度（acc値）に与える影響の有無（今回のデータではaccは不変）
  • 企業環境での本番利用を見据えた際の安定性や消費電力への影響評価