オープンソースの大規模言語モデル推論フレームワーク「llama.cpp」の最新更新で、DeepSeek V4向け処理の内部構造がFlash Attentionを前提とした設計に整理された。KQマスクのデータ型をf16に統一し、不要となったキャッシュの重複コードを削除するこの変更は、Apple SiliconからWindowsのCUDA環境まで、多様な実行基盤での推論効率に波及する微調整である。

KQマスクのf16化が取り除いた二つの無駄

今回の修正の中核は、Flash Attention使用時にアテンション計算で用いるKQマスクのデータ型をf16（半精度浮動小数点）に統一した点にある。従来は一部で異なる精度が混在し、DeepSeek V4ではゼロアテンションバイアスと呼ばれる特殊な処理を挟んでいた。これを取り除くことで、GPUやApple SiliconのNeural Engine上で実行される行列演算がより単純なパイプラインに統合される。結果として、一見小さなデータ型の修正が、演算器の稼働率とメモリアクセスパターンを改善し、推論速度に直結する。

DeepSeek V4から消えた「raw_kキャッシュの多重化」

更新では、DeepSeek V4向けに実装されていたストリームごとのraw_kキャッシュ重複コードが完全に削除された。これは、モデルが常に非統一キャッシュ形式で動作するよう内部設計が固まったことを意味する。過去のコードは、異なるキャッシュ戦略の共存を想定して冗長な経路を保持していたが、今回の整理によって実行バイナリのサイズ縮小と条件分岐の減少が実現する。特にAndroidやWindows arm64のようなリソース制約の厳しい環境では、無駄なメモリ確保とコピーが消える恩恵が大きい。

マルチプラットフォームCIが映す「見えない互換性確保」

今回のコミットに付随するCI（継続的インテグレーション）のビルド対象一覧は、この変更の影響範囲の広さを証明している。Ubuntu x64のROCm 7.2、Windows x64のCUDA 12/13、macOSのApple Siliconに加え、OpenVINOやSYCLのような多様なアクセラレータ環境が含まれる。Flash Attention対応のためのデータ型統一は、単一のGPU最適化にとどまらず、KleidiAIを有効にしたiOS端末からエッジAI向けのAndroid arm64、さらにはopenEulerの昇騰プロセッサ（910b）まで、一貫した推論ロジックの保守性を高める基盤となる。

推論フレームワークの「前提」が書き換わる時

今回の修正は、Flash Attentionが特殊な高速化オプションから標準的な前提へと移行しつつあるAI産業の構造変化を映している。モデル開発者が特定の推論フレームワークを意識せずに設計しても、llama.cppのようなコミュニティ駆動の実装が後追いで最適化する従来の流れと異なり、DeepSeek V4の内部仕様変更が直接的に推論コードの簡素化を促した点が新しい。モデル設計と推論最適化の境界が、より密接に連動する段階に入ったことを示す小さな、しかし明確な痕跡である。