Qualcomm

クアルコムのAIエンジンHexagon向けFlash Attentionが大幅刷新。行列演算の統合やメモリ最適化により、エッジデバイスでのLLM推論速度と精度が向上する。

Snapdragon X搭載の省電力ノートPCでも、llama.cpp経由でGPUを使ったローカルAI推論が標準的に行えるようになり、企業の現場導入時の検証負荷が下がる。

モバイルAIの頭脳「Hexagon」向けにllama.cppが施した小さな修正が、スマホ上での文章要約や画像生成を通信環境に依存せず安定動作させる道を開き、プライバシー保護と応答速度の両立を大きく前進させようとしている。

QualcommのSnapdragon搭載デバイス上で、llama.cppがMoEモデルの量子化推論を正式サポートし、数百億パラメータの大規模言語モデルを4GB台のRAMで実行可能にした。

QualcommのHexagonプロセッサ向けSSM-Conv演算を最適化するパッチ群が、大規模プロンプト推論時のメモリ効率を刷新し、オンデバイスAIの実用限界を押し上げる可能性を秘めている。

llama.cppのOpenCL Flash Attentionが大幅最適化。Qualcomm Adreno GPU搭載端末でのLLM推論、特にデコード速度が向上。モバイルAI実行環境の実用水準が一段階引き上がる。

AI推論エンジンが利用するHTTP通信ライブラリcpp-httplibが0.49.0へ更新。Apple SiliconのKleidiAI有効化やCUDA 13対応など、マルチアーキテクチャ時代の基盤進化を読み解く。

Flash AttentionのCUDA実装にrestrictが一貫適用され、メモリアクセス最適化が促進された。Apple SiliconではKleidiAIが有効化され、Armでの推論性能が向上する。

ggmlのWebGPU対応版に、NVIDIAの新しい4ビット浮動小数点フォーマット「NVFP4」が追加された。Apple Silicon搭載MacやiOSを含む幅広い環境でのローカルAI実行におけるメモリ効率と速度向上が期待される。