軽量AI推論フレームワーク「llama.cpp」の最新リリースb9964が公開された。中核となる変更は、Speculative Decoding（投機的デコーディング）使用時のモデル重複ダウンロード防止機能の追加である。多数のプラットフォームでのビルド対応状況も示され、エッジからクラウドまで一貫したAI推論環境の整備が進んでいることが読み取れる。

重複ダウンロード防止が意味する開発リソースの節約

今回のリリースで最も注目すべき変更点は、argで示された「prevent duplicate spec model downloads」の修正である。Speculative Decodingは、小型のドラフトモデルと大型のターゲットモデルを組み合わせて推論速度を向上させる手法だ。従来、このプロセスで同一モデルが二重にダウンロードされる可能性があり、ストレージの浪費と通信時間の増加を招いていた。この修正により、モデルファイルの管理が効率化され、特に大規模モデルを扱う開発者や、帯域に制約のあるエッジデバイスでの利用において、時間とコストの削減が期待できる。

マルチプラットフォーム対応が示す推論のコモディティ化

リリースノートには、macOS Apple SiliconからWindows x64、Linuxの各種アクセラレータ対応、Android arm64まで、広範なプラットフォームのビルド状況が明示されている。CUDA 12に加えてCUDA 13版のDLL提供が開始されたことは、NVIDIAの最新GPUドライバへの迅速な追従を示す。また、OpenVINOやSYCL、ROCmへの対応はIntel、AMD、そしてOneAPIエコシステムのAIアクセラレータとの相互運用性を強化する動きだ。これは、特定のGPUベンダーに依存しない、多様なハードウェアでLLMを動作させる選択肢が実用段階にあることを意味する。

KleidiAIとopenEulerに見るエコシステムの拡大

macOS版では、Apple Silicon向けにKleidiAIを有効化したビルドが新たに登場した（同時に従来の無効化ビルドも提供）。KleidiAIはArmのAI開発者エコシステム向けの軽量AIフレームワークであり、この統合はiOS XCFramework対応と並んでAppleデバイス上でのローカルAI推論の性能向上を狙ったものと考えられる。また、LinuxディストリビューションのopenEuler環境では、特定のアクセラレータ（310p、910b）向けビルドが示され、特に中国市場や通信事業者向けの基盤での利用拡大を示唆している。これらの対応は、llama.cppが単なる研究プロジェクトから、実用的なグローバル推論基盤へと移行しつつあることを示している。