大規模言語モデルをローカルで動かすツール「llama.cpp」の最新ビルド情報から、CUDAバックエンドの内部整理と、Apple Silicon向け最適化の進捗が明らかになった。単なる機能追加ではないこの修正は、開発者と利用者双方にとって、推論環境の安定性と選択肢の広がりが保たれていることを示すものだ。

「-sm行の削除」が意味する内部整理

今回のコミットでは、CUDA向けコードから古い「-sm」に関連する行が削除され、cuBLASライブラリ呼び出し部分が再構築された。これは目に見える新機能の追加ではない。しかし、長期間メンテナンスされてきたコードに蓄積した不要部分を整理し、基盤をより堅牢にすることで、将来的な機能拡張やバグ修正を素早く行える土台を作る作業だ。CDNAアーキテクチャとBF16フォーマットの組み合わせに関するロジック修正、入力テンソルのストライドと連続性要件の見直しなど、高速化と安定動作に直結する調整も同時に行われている。

Apple SiliconのMacで動く二つの道

ビルド情報では、macOSのApple Silicon（arm64）向けに標準ビルドと「KleidiAI enabled」ビルドの二種類が用意されている点が注目される。KleidiAIはArmが提供する機械学習ライブラリで、これを有効にすることで、Apple独自のNeural EngineやGPU性能をより効率的に活用できる可能性がある。一方で、同バージョンは現在「DISABLED」となっており、有効化された場合の安定性とパフォーマンスのバランスが検証段階にあることをうかがわせる。Intel Macのサポートは継続され、iOS向けの統合フレームワーク（XCFramework）も提供されている。

インテルからサーバー向けCPUまで、Linux環境の広がり

サポート対象を見ると、x64 CPUだけでなく、Arm（arm64）や、IBMのメインフレーム向けs390xアーキテクチャまで含まれている。これは、llama.cppの設計が特定ハードウェアへの依存を可能な限り減らし、C++で記述されたシンプルな推論エンジンとしての可搬性を追求している証拠だ。GPU支援層としてVulkanも利用でき、x64とarm64の両方で動作する。加えて、AMDのROCm 7.2やインテルのOpenVINO、SYCL（FP32/FP16混在対応）といった、ベンダー固有の計算スタックへの対応も並行して進んでいる。

モバイルからエッジまで、一つのバイナリがつなぐ現実

Androidのarm64 CPU向けビルドに加え、Windows on ArmではQualcomm Adreno GPU向けのOpenCL対応も確認できる。これにより、ノートPCからスマートフォン、さらには特定の組み込みボードに至るまで、アプリケーション開発者は共通のモデルフォーマット（GGUF）とツールチェーンを使ってAI機能を組み込める。NVIDIAの最新GPU環境として、Windows版ではCUDA 12.4とCUDA 13.3の両方のDLLが提供されており、新旧のドライバ環境に柔軟に対応しようとする姿勢が見える。一方、EulerOS系では対応が一部無効化されており、企業向けLinux環境でのサポートは今後の課題として残る。

不可視のインフラ競争と、開発者コミュニティの役割

今回のような更新が示すのは、AIの推論機能がもはや巨大クラウドだけのものではなくなった現実だ。NVIDIAがCUDAで圧倒的なエコシステムを築く一方で、Vulkan、OpenCL、SYCLといったオープンな並列計算規格や、Apple/Qualcommの独自アクセラレータを巻き込んだ「マルチバックエンド」の維持は、ベンダーロックインを嫌う開発者や、特定ハードウェアのコスト効率を追求する企業にとって極めて重要になる。この動きを主導するのが単一企業でなく、llama.cppのようなコミュニティ主導プロジェクトである点に、現在のAIインフラ層の独特な力学がある。