MoE（専門家混合）とは巨大モデルを効率よく動かす仕組みと注意点
MoE（Mixture of Experts）は、モデル内に複数の「専門家」を持ち、入力ごとに一部だけを使う構造です。仕組み、総パラメータ数とアクティブパラメータ数の違い、メリットとデメリット、ローカルで動かすときの注意点を整理します。
公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて
MoEとは
MoE（Mixture of Experts、専門家混合）は、モデルの内部に複数の「専門家（エキスパート）」と呼ばれる部分ネットワークを持ち、入力のトークンごとに、そのうちの一部だけを選んで使う構造です。すべてのパラメータを毎回使う通常のモデル（密なモデル、dense）に対し、MoEは「必要な部分だけを使う」ことで、大きな容量を保ちつつ、計算量を抑えることを目指します（パラメータ数とモデルサイズ、Transformerとは）。
仕組みのイメージ
病院に例えると、通常のモデルは「全員の医師が、すべての患者を診る」、MoEは「受付（ルーター）が、症状に合わせて、適切な専門医（エキスパート）数名に回す」イメージです。
| 要素 | 役割 |
|---|---|
| エキスパート | 専門的な処理を担う、複数のフィードフォワード層 |
| ルーター（ゲート） | 各トークンを、どのエキスパートに送るかを決める |
| 選択数（Top-k） | 1つのトークンあたり、使うエキスパートの数（例：8個中2個） |
| 出力の統合 | 選ばれたエキスパートの出力を、重みづけして合計する |
実際の「専門家」は、必ずしも人間が理解できる専門分野（医学・法律など）に対応しているわけではなく、学習の中で自然に役割が分かれるとされています。
総パラメータ数とアクティブパラメータ数
MoEモデルの規模は、2つの数字で語られることが多くなります。
| 用語 | 意味 |
|---|---|
| 総パラメータ数 | すべてのエキスパートを含む、モデル全体のパラメータ数 |
| アクティブパラメータ数 | 1つのトークンの処理で、実際に使われるパラメータ数 |
たとえば、「総パラメータ数が数百B、アクティブは数十B」といった表記になります。計算量（速度）は、アクティブパラメータ数に近く、記憶容量（メモリ）は、総パラメータ数に近いため、数字の読み方に注意が必要です。
メリット
| メリット | 内容 |
|---|---|
| 計算効率 | 同じ性能を、より少ない計算量で得られる可能性 |
| 大きな容量 | 総パラメータ数を増やして、知識の容量を拡大できる |
| 推論の速度 | アクティブパラメータが小さいため、生成が速い場合がある |
デメリット・課題
| 課題 | 内容 |
|---|---|
| メモリ使用量 | 使われないエキスパートも、メモリに載せておく必要がある |
| 学習の難しさ | エキスパート間の負荷の偏りを防ぐ、安定させる工夫が必要 |
| 実装の複雑さ | ルーティングや分散処理の実装が複雑 |
| 調整の難しさ | ファインチューニングが、通常のモデルより難しい場合がある |
| 小規模利用での利点が限定的 | 単一の端末では、メモリがボトルネックになりやすい |
ローカルで動かすときの注意
ローカルでモデルを選ぶとき、MoEモデルは「アクティブパラメータが小さいから、軽い」と考えると誤解が生じます。実際に必要なメモリは、総パラメータ数に近く、一般的なPCでは動かせないことがあります（GPUとVRAMの選び方、量子化）。一方、メモリが十分にあるなら、同程度の性能の密なモデルより、速く動くことがあります。
代表的な例
| 例 | 概要 |
|---|---|
| Mixtral 8x7B | 8つのエキスパートから、トークンごとに2つを選ぶ構造として公開されたオープンなMoEモデル |
| 商用の大規模モデル | 内部構造が公開されていないが、MoE構造が採用されていると報じられるものもある |
商用モデルの内部構造は、多くの場合、非公開です。
MoEの具体例
パラメータが合計47B、アクティブが13B程度といったMoEモデルの場合、1トークンを生成する計算量は、13B程度の密なモデルに近くなります。一方、必要なメモリは47B相当です。速度を重視するなら有利ですが、メモリが限られた環境では、小さな密なモデルのほうが現実的なこともあります。
MoEのFAQ（よくある質問）
Q. MoEは、通常のモデルより賢いですか？
A. 同じ計算量で、より高い性能が得られる傾向がありますが、一概に賢いとは言えません。
Q. MoEの「専門家」は、分野ごとに分かれていますか？
A. 必ずしも、人間が理解できる分野には対応していません。
Q. 利用者は、MoEを意識する必要がありますか？
A. APIやサービスで使う場合は、あまり意識する必要がありません。ローカルで動かす場合は、メモリの目安に影響します。
筆者の見解（MoE）
MoEは、「大きさ」と「速さ」を両立するための、工学的な工夫として理解すると、モデル選びの数字が読みやすくなります。「総パラメータ数」と「アクティブパラメータ数」を区別するだけでも、必要な機材の見積もりが大きく変わります。公式の説明で、2つの数字がどう示されているかを確認する習慣をおすすめします。
MoEの関連項目
- パラメータ数とモデルサイズ
- Transformerとは
- GPUとVRAMの選び方
- ローカルLLMとは
出典（一次情報）
本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。