AI Industry Wiki

MoEとは

Mixture of Experts

複数の専門家モデルの一部だけを使い、効率よく答えを出すAI設計。

モデル mixture-of-experts

Simple Explanation

まず、かんたんに言うと

MoEは、たくさんの専門家がいるチームのようなAIです。全部の専門家を毎回呼ぶのではなく、問題に合う人だけを呼びます。数学が得意な人、文章が得意な人、コードが得意な人を必要に応じて選ぶイメージです。これにより、大きなAIでも毎回すべてを動かさずにすみ、計算を効率よくできます。

Example

大規模モデルが質問の種類に応じて一部の専門家パラメータだけを使います。

Deep Dive

MoEは、複数のexpertとルーターを持ち、入力に応じて一部のexpertを活性化するモデル構造です。大規模化と推論効率を両立する設計として注目されています。

Industry Context

モデルサイズを大きくしながら、推論コストを抑える可能性があるためです。

Mistral、DeepSeek、Googleなどの大規模モデル設計で重要な選択肢になっています。

Key Points

専門家モデルを選んで使う設計です。

大規模化と効率化を両立します。

推論コスト競争で重要です。

Companies

すべてのパラメータを毎回使わず、必要な専門家だけを使うためです。

Articles