NVIDIAのオープンモデル「Nemotron 3.5 Lightning」がAmazon SageMaker JumpStartで利用可能になった。30Bパラメータ中3Bのみを活性化するMoE構成で、常時稼働するエージェントの高頻度タスクを単一GPUで処理できる。モデル選定の選択肢が増えることで、AI運用コストの設計余地が広がる。

高頻度エージェント処理を単一GPUで実行

Nemotron 3.5 Lightningは、NVIDIAのフロンティアモデルNemotron 3 Ultraから蒸留された30BパラメータのMoEモデルである。1回の推論で活性化するのは3Bパラメータのみであり、NVIDIAは高頻度のエージェントワークロードにおいて最大4倍のスループットと最大30%のタスク完了時間短縮を報告している。SageMaker JumpStart上では、ユーザーが配信用インフラを自前で設定することなくデプロイできる。1Mトークンのコンテキスト長により、長時間のセッションで蓄積された状態を再取得するための再グラウンディング回数を減らせる設計である。

すべての推論を大規模モデルに依存しない構成へ

この公開が示すのは、エージェントの全段階をフロンティアモデルで処理する前提からの転換である。マルチステージの計画立案やサブエージェントの調整には高い推論能力が必要だが、アラート分類やフォームからのフィールド抽出、ポリシー照合といった反復的で専門性の高いステップは、より小さなモデルで十分な場合が多い。NVIDIA NeMo Switchyardのようなルーティング基盤を組み合わせれば、ワークフローの各ステップをモデルプールに振り分け、高頻度の部分にLightningを割り当てる構成が可能になる。これにより、フロンティアモデルのコストとレイテンシを、処理量の大きい日常的タスクにまで適用する非効率を避けられる可能性がある。

AI推論の経済性が変わるレイヤー

影響を受けるのは、クラウド上でAIエージェントを常時稼働させる事業者である。SageMaker JumpStartからのデプロイにより、GPUインフラの設定負荷が下がり、モデル選択の実験コストが低減する。AWSのプラットフォーム上でオープンモデルを利用できることは、独自の重みを保持したままデプロイ先を柔軟に選びたい企業にとって、ベンダー固定を避ける選択肢となる。日本市場では、社内業務の自動化やカスタマーサポートの問い合わせ分類など、高頻度かつ定型的な処理をエージェントに委譲する際に、コスト対効果を見積もる上での参照点になる。