オープンソースの機械学習ライブラリ「llama.cpp」を構成するggml-cpuにおいて、RISC-Vアーキテクチャ向けのベクトル量子化処理が512ビットや1024ビットといった、より長いベクトル長に対応する更新が加えられた。この変更は単なるバグ修正ではなく、RISC-Vプロセッサ上でのAI推論速度を大きく左右する要素であり、従来の256ビット実装を超える最適化が複数の量子化方式に対して同時に提供された点が重要である。

この記事を一言でいうと

llama.cppのCPU推論エンジンが、RISC-Vの長いベクトル命令に対応する形で刷新され、量子化モデルの処理効率が大幅に改善される可能性がある。とりわけ、新しく設計された512ビット・1024ビット実装が複数の量子化方式に提供され、RISC-Vプラットフォームの実用性が一段上がる。

なぜ話題なのか

背景には、RISC-Vプロセッサのベクトル拡張仕様が256ビットにとどまらず、512ビットや1024ビットといったVLEN（ベクトル長）をサポートする方向へ進化している状況がある。今回の更新は、i-quantと呼ばれる新しい量子化フォーマット群（iq4_xs、iq3_s、iq3_xxs、iq2_s、iq2_xs、iq2_xxs）やq6_Kに対して、これらの長いベクトル実装を追加し、さらに一部の256ビット実装を改善する内容だ。単にハードウェア性能を待つのではなく、ソフトウェア側から性能を引き出す最適化が一気に進んだことで、RISC-VのAI推論能力が具体的な数字として議論できる段階に入った。

一般読者や企業にどう関係するのか

RISC-Vは半導体設計の国際的なオープン標準であり、すでに組み込み機器やIoT機器、さらにサーバー向けプロセッサにも採用が広がっている。日本でもルネサスエレクトロニクスやアラクサラネットワークスの一部製品がRISC-Vコアを採用しており、また産総研や大学発スタートアップによるRISC-Vチップ開発が活発化している。今回の更新は、これらの機器上でLlamaやMistralといった大規模言語モデルを動かす際の電力効率や応答速度に直結する。エッジAI端末やプライベートクラウド向けにRISC-Vを使う日本企業にとって、CPU推論の性能向上は導入判断を後押しする材料となる。

AI業界の構造で見ると何が変わるのか

AI推論の競争は、NVIDIAのGPUを中心としたアクセラレーターが支配してきたが、近年はApple SiliconのNeural EngineやQualcommのHexagon NPU、そしてx86系CPUのAVX-512命令やAMX命令が注目を集めている。今回の更新は、この競争にRISC-Vのベクトル命令が本格的に加わったことを意味する。GPUや専用NPUが高価で消費電力も大きいのに対し、RISC-Vはライセンス費用がかからず、設計の自由度が高い。モデルの量子化技術と組み合わせることで、低消費電力かつ低コストな推論環境を構築できる点が、クラウドやエッジの両面で構造変化を促す可能性がある。

一次情報から確認できる事実

この更新はPull Request #22754としてggml-cpuに対して行われた。具体的な変更点は以下の通りだ。

  • RVV量子化ベクトル内積を、より長いVLENへ拡張
  • iq4_xs向けにRVVの512ビット実装と1024ビット実装を追加
  • q6_Kおよびi-quant系フォーマットに対し、RVVの512ビット実装と1024ビット実装を追加（同時にリファクタリングを実施）
  • tq3_s、iq3_xxs、iq2_s、iq2_xs、iq2_xxsに対しても512ビットと1024ビットの実装を追加
  • 既存の256ビット実装について、iq2_xsの改善を実施

貢献者としてRehan Qasim氏、taimur-10x氏（ともに10xEngineers.ai所属）がクレジットされている。テスト対象には、macOSのApple Silicon（arm64、KleidiAI有効版含む）、Intel Mac、iOS XCFramework、Ubuntuのx64／arm64／s390x／Vulkan／ROCm／OpenVINO／SYCL、Android arm64、Windowsのx64／arm64／CUDA／Vulkan／SYCL／HIP、openEulerのx86／aarch64など、広範なプラットフォームが含まれている。

関連企業・関連技術

  • 10xEngineers.ai：RISC-V向けAI最適化の専門知見を持つエンジニアリング企業。今回の実装を主導した。
  • llama.cppプロジェクト：CPU推論のデファクトスタンダード的存在。量子化技術とマルチアーキテクチャ対応で業界をリードしている。
  • RISC-V International：オープン命令セットアーキテクチャの標準化団体。VLEN拡張を含むベクトル仕様の策定を進めている。
  • SiFive、Ventana、Esperanto Technologies：RISC-Vプロセッサを開発する主要企業。今回のソフトウェア最適化の恩恵を受ける。
  • ルネサスエレクトロニクス、産総研：日本国内でRISC-V製品や研究開発を進める組織。

今後の論点

まず注目すべきは、実際のRISC-Vハードウェア上で今回の512ビット・1024ビット実装がどの程度の性能向上を示すかというベンチマークだ。次に、10xEngineers.aiが今後も継続的に最適化を提供するのか、それともコミュニティ主導のメンテナンスに移行するのかという開発体制の持続性である。さらに、RISC-Vのベクトル命令がAVX-512やNEON、SMEといった既存のSIMD命令セットと実際の電力効率でどの程度競合できるかが、エッジAI市場の勢力図を決める。日本企業にとっては、国産RISC-Vチップに今回の最適化を適用した場合のトータルコストと性能が、GPUやx86プロセッサとの比較でどう位置づけられるかが、実導入の判断材料となる。