llama.cppプロジェクトのビルドb9235がリリースされた。今回の更新は、大規模言語モデルの推論速度を左右する投機的復号の仕組みを大幅に再編し、特にMTP（Multi-Token Prediction）と従来手法の統合を進めた点が注目に値する。プルリクエスト#23269を中心とするこの変更群は、オープンソースのエッジ推論エコシステム全体に影響を与える構造的な改良である。

投機的復号の3方式が統合された設計意図

これまでllama.cppの投機的復号は、ドラフトモデル方式、ngram方式、そして比較的新しいMTP方式が、それぞれ独立した実装経路を持っていた。b9235では、これらを共通のパラメータ基盤の上で組み合わせ可能にしている。

具体的には、ngram方式で使われるngram-map-*パラメータ群の不具合修正に加え、MTPドラフト時にp-minによる確率閾値フィルタを再び有効化した。さらにngram投機をRSロールバックと併用できるようにし、複合的なドラフト構成における受理ロジックのバグも修正されている。

この統合の背景には、投機的復号がもはや単一の高速化テクニックではなく、モデル構造やメモリ制約に応じて切り替えるべき戦略的オプションになったという認識がある。llama.cppは各方式のコンストラクタに実装種別とパラメータを自動記録するLOG_INFを追加し、どの方式が選択されたかを可視化する仕組みを導入した。

推論グラフとリカレントメモリの構造変化

今回の修正群で技術的に重要なのは、リカレントメモリの部分ロールバック時に均等分割を無効化する変更である。これはMTPが系列を分岐させて複数トークンを同時予測する際、メモリ状態の一貫性を保つための調整だ。推論グラフの再利用ロジックにも手が入り、tokenバッチとembdバッチが混在するケースでの不具合が解消された。

これらの修正は、長文生成や対話セッションのような状態保持が求められるユースケースでの安定性を直接的に改善する。メモリ効率と推論速度のトレードオフにおいて、より細粒度な制御が可能になったと言える。

ローカルAI推論の産業配置図

llama.cppは、Apple Silicon搭載Mac、iOSデバイス、Ubuntuのx64/arm64/s390xアーキテクチャ向けにビルド済みバイナリを提供している。KleidiAIを有効化したmacOS arm64ビルドも継続提供されており、Appleの機械学習アクセラレーションとの統合が進行中であることを示す。

このプロジェクトの産業的位置づけは、クラウドAPIに依存しないエッジ推論の共通基盤である。HuggingFaceのモデル流通、Ollamaの簡易デプロイ、各種ローカルUIツールのバックエンドとして機能し、NVIDIA GPU非依存の推論パスを確立している。b9235の投機的復号強化は、このレイヤーでのトークン生成スループットを直接底上げする。

日本市場では、プライバシー制約の強い医療・金融領域でのオンプレミス推論需要が高まっており、llama.cppの安定性向上はこれらの導入障壁を下げる要因となる。特にMTPは比較的小規模なモデルでも有効なため、日本語LLMのローカル実行性能に波及すると見られる。

投機的復号のパラメータ標準化が持つ意味

b9235では—spec-defaultの拡張としてngram-map-k4vの追加が検討されたが、最終的にデフォルト設定への組み込みは見送られた。ただしドラフトモデル向けのCPUスケジューリングパラメータやテンソルオーバーライドの引数が文書化され、—spec-typeに全利用可能方式が列挙されるようになった。

n_maxのデフォルト値は3に変更され、n_minは0、p_minは0.0に設定された。これは投機的復号を極力控えめに動作させ、まず安定性を確保する設計判断である。非推奨となったspec-draft-ctx-sizeやspec-draft-replaceはドキュメントから削除され、パラメータ体系の整理が進んだ。

注目すべきはngram-modの棄却閾値が5トークン未満の場合に0.25まで緩和された点である。短文生成時の不要な棄却を減らし、ngram方式の実効速度を改善する狙いがある。

今後の論点

MTPと投機的復号の統合は、推論エンジンがモデルアーキテクチャの差異を吸収する方向へ進むことを示唆する。次の焦点は、今回見送られたdraft-eagle3の正式統合と、各方式のパフォーマンスを横断比較できるベンチマーク指標の整備である。

llama.cppの変更は、数百億パラメータ級モデルのローカル推論を支えるインフラストラクチャの進化そのものだ。投機的復号の適応的制御が成熟すれば、クラウドGPUとローカル推論の速度格差はさらに縮まる。このプロジェクトのリリースサイクルとパラメータ設計の方向性は、エッジAIの経済合理性を判断するうえで継続的な観測点となる。