大規模言語モデルの軽量推論ライブラリGGMLに、半精度浮動小数点（f16）の行設定演算（SET_ROWS）をCUDAで直接扱う機能が追加された。今回の変更は一見小さな演算追加だが、GPU上のメモリ転送をバイパスし、モデル内部の埋め込み処理を高速化する実装だ。Apple SiliconやAndroidのCPU最適化と並行し、CUDA環境ではバージョン12と13の双方に対応。推論エンジンの地盤が着実に再整備されている。

SET_ROWS演算のCUDA直接実行がもたらす実効性能の変化

SET_ROWS演算は、埋め込みテーブルから特定行を集めて新たなテンソルを構築する操作で、大規模言語モデルの推論時に頻出する。従来はこの処理を一度CPU側のメモリに戻してからGPUへ再転送する、あるいはより汎用的なカーネルで代用するケースがあった。今回の変更により、f16形式のままGPU上で演算が完結するため、PCIeバスを経由するデータ転送が削減される。とくに埋め込み次元が大きいモデルや長文プロンプトのバッチ処理で、レイテンシの低減が期待できる。CUDA 12.4とCUDA 13.3の両DLL環境でビルド可能となり、最新のBlackwellアーキテクチャを見据えた互換性も確保された。

マルチプラットフォーム戦略に埋め込まれた演算の共通化

この変更の背景には、GGMLが進める演算バックエンドの共通化がある。同一のSET_ROWS操作が、CUDAだけでなくApple SiliconのMetal、Vulkan、ROCm、OpenVINO、SYCL、さらにはAndroidのCPU実装まで、多様なバックエンドで提供されている。プラットフォームごとに演算精度やデータレイアウトの差異を吸収する層が整備されつつあり、開発者はハードウェアを意識せずにモデルを展開できる基盤に近づいている。KleidiAIを組み込んだmacOS arm64ビルドの無効化は一時的なもので、ARMアーキテクチャ向け最適化が現在進行形で再調整されていることを示唆する。

エッジ推論の競争軸が「対応ハードウェアの数」から「演算密度」へ

llama.cppを中核とするエコシステムでは、単に動作するプラットフォームの多さを競う段階から、各バックエンドでの演算密度とメモリ効率を突き詰める段階へ移行している。今回のCUDA向けf16 SET_ROWS追加は、一見すると特定GPUユーザーへの地味な改善に見えるが、Qualcomm Adreno向けOpenCLパスや、Apple SiliconのANE連携を見据えた場合、演算プリミティブの粒度を揃える布石と読める。IoTゲートウェイやオフライン翻訳端末など、推論専用ハードウェアを持たない環境でも、限られたSIMDユニットを最大限使う実装が求められており、SET_ROWSのような基本演算の最適化はその土台となる。

CUDA 12と13の二重対応が示すHPCとエッジの収れん

CUDA 12系列と新世代のCUDA 13系列に同時対応する姿勢は、データセンター向けの大規模GPUと、エッジデバイスに搭載される省電力GPUの両方で同一の推論コードを動かすための布石だ。CUDA 13ではプログラマブルなキャッシュ階層や非同期実行の粒度が変更されており、SET_ROWSのパフォーマンス特性もアーキテクチャ世代によって変わりうる。GGML側がバージョン固有のDLLをテスト環境に含めていることは、将来的にGPU世代別の動的カーネル選択が導入される可能性を示唆している。

オープンソース推論スタックの静かな進化と半導体戦略への波及

GGMLのCUDA対応強化は、PyTorchやTensorFlowといった巨大フレームワークの外側で、軽量推論に特化した独立レイヤーが成熟しつつある証左だ。半導体ベンダーにとっては、自社チップがこのレイヤーでネイティブ対応されるか否かが、AIワークロードの獲得に直結する時代に入った。Windows arm64のOpenCL Adreno対応や、openEulerのAscend 910b向けACL Graph対応は、すでにその競争が始まっていることを示している。SET_ROWSひとつの追加が、チップ選定の評価項目を変える可能性をはらむ。