大規模言語モデルを手元の計算機で動かすためのC++実装「llama.cpp」のサーバーコンポーネントに、推論高速化技術のひとつである投機的デコードの動作信頼性を左右する修正が加えられた。ドラフトモデルの読み込み時におけるパラメータの不整合を解消し、異なる起動経路でも一貫した動作を保証する。

ドラフトモデルの「fit」と「load」経路で生じていた初期化のズレ

今回の修正は、投機的デコードに用いるドラフトモデルの読み込み手順に潜在していた問題に対処するものだ。llama.cppのサーバー機能では、モデルを新規に構築する場合（fit）と、既存のファイルから復元する場合（load）がある。従来の実装では、この二つの経路でドラフトモデルのパラメータ初期化やコンテキストの構成方法が統一されておらず、起動の仕方によって推論の振る舞いや性能が変わってしまう余地があった。開発チームは、投機的推論に関わる初期化ロジックをsplative.cppへ集約し、server_context_impl内のドラフトモデルとコンテキストの管理を生ポインタ（raw pointer）方式へと再設計している。また、ドラフトモデル読み込み中に進捗コールバックが抑制され、ユーザーから状況が見えにくくなる問題も併せて解消した。

macOSからWindowsまで、幅広いハードウェア層に波及する修正

この変更のテストは、macOSのApple Silicon（KleidiAI有効/無効）、Intel Mac、iOS向けXCFrameworkに加え、Linuxのx64/arm64/s390x、Windowsのx64/arm64といったCPUビルドを横断している。さらにGPUアクセラレーション環境として、Vulkan、ROCm、OpenVINO、昇龍（SYCL FP32/FP16）、CUDA 12/13、OpenCL Adreno、Intel oneAPI HIPなど、非常に広範なハードウェアバックエンドが検証対象リストに並ぶ。修正の本質はモデルのライフサイクル管理という基盤部分にあるため、特定のOSやデバイスに留まらず、あらゆる環境で動作の一貫性を高める効果が期待できる。また、AndroidやopenEuler（aarch64/x86）といったエッジからサーバーまでを網羅するテスト構成からは、このプロジェクトが単なる個人開発の域を超えた産業利用を見据えていることがうかがえる。

投機的デコードの実装品質が、ローカルLLM競争の差別化要因に

投機的デコードは、小規模な「ドラフトモデル」が生成した候補トークンを大規模な「ターゲットモデル」が並列検証することで、ユーザーが体感する応答速度を大幅に引き上げる技術だ。この手法はモデルの重みそのものを変えずに推論を高速化できるため、エッジデバイスや個人のGPU環境で大規模モデルを動かす文脈で注目を集めている。しかし高速化の効果はドラフトとターゲットの挙動が一致していることを前提とする。今回のようにモデル読み込み段階での不整合を放置すれば、ハードウェア性能評価の再現性や、異なるバージョン間での速度比較の信頼性を損ね、技術コミュニティ全体の混乱を招く。修正の完了は、llama.cppエコシステムを基盤とするアプリケーション開発者にとって、より予測可能なパフォーマンスチューニングを可能にするだろう。