Company Database
vLLM
高スループットLLM推論エンジンのOSSプロジェクト。
Open Source Open Source
01
Start Here
この企業を理解する3ページ
01 Wiki LLMとは
大量のテキストやコードから言語のパターンを学び、文章生成や推論を行う大規模言語モデル。
読む → 02 News vLLM v0.25.1公開、混合精度演算のバグ修正で分散推論の安定性向上大規模分散推論環境において、混合精度演算と通信が絡む条件下で出力の数値的安定性が損なわれる可能性が除去される。これにより、複数GPUや複数ノードでLLMを本番サービスとして運用する企業が、より信頼性の高い推論結果を得られるようになる。
読む → 03 Industry Map OpenAI エコシステムOpenAIはMicrosoft Azureを中核のクラウド基盤として活用し、ChatGPT、API、Sora、Codex、Agentsを展開している。
読む → 03 1 relations
Structure
産業構造の中のvLLM
主な製品・サービス
vLLM Engine
04 24 articles
Intelligence
vLLMのニュース
vLLM v0.25.1公開、混合精度演算のバグ修正で分散推論の安定性向上
大規模分散推論環境において、混合精度演算と通信が絡む条件下で出力の数値的安定性が損なわれる可能性が除去される。これにより、複数GPUや複数ノードでLLMを本番サービスとして運用する企業が、より信頼性の高い推論結果を得られるようになる。
記事を読む → vLLM v0.25.0rc2が公開、CUDAグラフと埋め込みの不具合を修正し本番運用の安定性が向上 vLLM」開発プロセスに見る、推論エンジン成熟度競争の新たな段階 vLLM v0.25リリース候補公開、KVキャッシュ非同期処理で推論基盤が進化 vLLMとEFAで長文AI推論を分離、SageMaker HyperPodが描く高速化 AI推論エンジン「vLLM」、ARMプロセッサ対応を強化 エッジとクラウドの垣根を越える布石に Hugging FaceのvLLMバックエンドがネイティブ同等に、450超のモデルで高速推論が無償化 vLLMが分散推論の安定性を強化、大規模AI導入の「足回り」が進化
05
Knowledge
さらに深く理解する
StoryGraphで構造を見る
StoryGraph OpenAI エコシステム
OpenAIはMicrosoft Azureを中核のクラウド基盤として活用し、ChatGPT、API、Sora、Codex、Agentsを展開している。
StoryGraph OpenAI vs Google：生成AI覇権をめぐる二大エコシステムOpenAIとGoogleの競争は、モデル性能だけでなく、API、クラウド、検索、OS、企業導入を含むAIエコシステム全体の競争になっている。
StoryGraph Open Source LLM Ecosystem：OSS LLMを支える配布・推論・開発者基盤OSS LLMエコシステムは、モデル公開、データセット、推論基盤、評価、ファインチューニング、開発者コミュニティが結びついて成立している。