AMD

AMDがROCmに新たなCIテスト段階「Stage B」を追加した背景には、NVIDIAのCUDAに対抗するためソフトウェア品質と開発速度を両立させる戦略がある。

AIテンソル演算ライブラリ「ggml」がAMD GPU向けHIPビルドで浮動小数点最適化フラグを有効化。推論速度の向上とその背景を分析する。

AMD RDNA3向けQ6_K量子化カーネルのチューニングにより、Radeon RX 7000シリーズの行列演算効率が最適化され、大規模言語モデルのローカル推論速度が大幅に向上する見込みである。

米AMDのGPU基盤ROCmを用いて医療AIの大規模言語モデルを最適化し、NVIDIAのCUDA非依存で低コスト稼働に見通し。カリフォルニア大の研究では、ROCm環境で3時間48分の学習により医用ベンチマーク最高スコアを達成し、コスト半減へ

オープンソース推論ライブラリ「llama.cpp」で、投機的デコード処理中に発生するクラッシュバグがAMDのエンジニアにより修正。K/Vキャッシュ未割当時の内部競合が解決され、推論の安定性が向上。

llama.cppが、AMD ROCmとムーアスレッドMUSA向けにバッチ行列演算（cublasSgemmBatched）のマッピングを追加。NVIDIA CUDA以外のGPUで、LLM推論のボトルネックが緩和される意義を分析。

オープンソースの推論エンジンllama.cppが、Apple SiliconやAMD GPU、Intel系アクセラレータまで幅広いハードウェア対応を定常化したビルドを公開し、クラウドに頼らないローカルAI活用の選択肢が企業や開発者にとってより現実的なものとなっている。

AMD Ryzen搭載PCでも、8ビット量子化技術によって大規模なAIモデルをGPUなしで高速・省メモリ動作させることが現実的になった。

AMDのUMA型GPU向けに、Vulkanバックエンドの転送キュー選択を最適化することでローカルLLM推論の速度低下を解消したllama.cppの新ビルドが公開され、エッジAI推論インフラの選択肢拡大に貢献している。