オープンソースのAI推論エンジン「llama.cpp」に、処理の高速化を図る新仕様「DFlash v2」が追加された。長文の処理を効率化する「スライディングウィンドウアテンション」の層ごと設定が可能になり、Apple SiliconやCUDA、Vulkanなど幅広い環境への対応も進んでいる。

DFlash v2がもたらす、層ごとの新しい注意機構

今回の仕様追加の中核は、最新の注意機構（Attention）を推論時に高速化する「DFlash」の第2版だ。特に、文脈の一部にだけ着目する「スライディングウィンドウアテンション」をモデルの層ごとに有効化・無効化できる点が新しい。従来、この機能はモデル全体で一括設定されることが多く、層ごとに異なる注意の振る舞いを持つ最新の大規模言語モデル（LLM）には最適化しきれない面があった。この改善により、より複雑な構造のモデルでも推論時のメモリ使用量を抑え、計算速度を引き上げられる可能性がある。

Apple SiliconからSYCLまで、広がる実行環境

この変更提案には、幅広いプラットフォームでのテスト状況が明記されている。macOSのApple Silicon（arm64）やiOS向けフレームワーク、Linuxのx64系ではVulkanやOpenVINO、さらにはSYCL（FP32/FP16）が含まれる。Windowsでもx64のCUDA 12/13、Vulkan、OpenVINO、HIPなどが並ぶ。特筆すべきは、特定の環境で「DISABLED」と明示されているケースがある点で、まだ全プラットフォームで有効化されたわけではないことがうかがえる。これは、ハードウェアごとに最適化の難易度が異なるAI推論の現実を反映している。

ローカルAIの「動く速さ」を決めるインフラ競争

llama.cppのようなプロジェクトにとって、新しい注意機構への対応は直接的な性能向上に直結する。DFlash v2の実装は、モデルを動かすためのエンジン部分の進化であり、より少ない計算資源で長文の応答を生成できるようにする取り組みだ。クラウドに依存せず、手元のパソコンやモバイル端末でAIを動作させる「エッジAI」の領域では、このような数ミリ秒単位の積み重ねが実用性を左右する。開発者コミュニティ主導で多様なチップへの最適化が進むことは、特定の半導体企業の戦略に依存しない、開かれたAI利用環境の基盤を強化する動きといえる。