大規模言語モデル（LLM）の進化に伴い、処理速度の向上は常に開発者たちの最重要課題だ。その中でも、複数の「専門家」から適切なものを選び出すMixture of Experts（MoE）方式は、モデルの巨大化を抑えつつ性能を引き上げる手法として注目を集めている。今回、llama.cppプロジェクトにおいて、IntelのGPU向け並列処理フレームワーク「SYCL」を用いたMoEモデルの推論速度を改善する変更が公開された。これにより、特定のGPU環境で大規模なMoEモデルをより高速に動かせる可能性が具体的に示された格好だ。

この記事を一言でいうと

複数の「専門家」を効率的に動かすためのデータ並べ替え処理を、従来より高速なアルゴリズムに置き換えることで、Intel GPU向けにMoEモデルの推論スループットを改善した技術変更である。

なぜ話題なのか

MoEモデルは、GPT-4以降の大規模言語モデルで広く採用されている。全てのパラメータを毎回使う密なモデルと違い、必要な「専門家」だけを呼び出す仕組みのため、計算量を抑えられる半面、データの振り分けや整理にオーバーヘッドが生じる。この振り分け処理の効率化は、モデル全体の体感速度に直結する。今回の変更は、O(n²)に近い計算量だった部分をO(n)で済むよう再設計しており、理論上の改善幅が明確だ。IntelのGPUをAI推論に活用するうえで、実用性を一段引き上げる意味を持つ。

一般読者や企業にどう関係するのか

大規模AIモデルを自社で動かしたい企業にとって、推論速度はコストと直結する。同じモデルをより少ない計算資源で素早く動かせれば、サーバー台数も電気代も減らせる。日本国内でも、製造業や金融機関がオンプレミスでのAI活用を模索する動きがある中、Intel GPUを使った推論環境の現実的な選択肢が広がることは無視できない。現時点では直接的なサービスへの影響はないものの、今後ローコードでのAI導入を進める企業にとって、基盤技術の速度改善は導入判断を後押しする材料になる。

AI業界の構造で見ると何が変わるのか

AIの推論基盤はこれまでNVIDIA GPUが事実上の標準だったが、IntelやAMDも独自フレームワークで対抗している。IntelのSYCLはその一つで、CPUとGPUをまたいだ並列処理を単一のコードで記述できる点が特徴だ。今回の改善は、SYCL環境下でMoEという先端的モデル構造を高速化する具体的手法を示したことで、NVIDIA一強への対抗軸が技術面からも補強されたと言える。推論基盤の多様化は、クラウド事業者だけでなく、エッジやオンプレミスでAIを動かす事業者にとっても選択肢の拡大につながる。

一次情報から確認できる事実

一次情報（llama.cppのプルリクエスト#23142）からは、以下の事実が確認できる。

MoEモデルの事前入力（prefill）スループットを改善する変更である
k_copy_src1_to_contiguous関数を変更し、各「専門家」が担当する行をあらかじめ計算された連続マッピングに集約する方式にした
従来O(n_as × n_routed_rows)の計算量だった処理を、カウンティングソートを応用したO(n_as + n_routed_rows)の手順に置き換えた
変更はSYCLバックエンド向けである