一、MoE的核心思想：大模型的"稀疏激活"革命
MoE（Mixture of Experts，混合专家）架构的核心洞察是：不是所有参数都需要参与每次推理。传统Dense模型在推理时激活全部参数，而MoE模型将FFN层替换为多个"专家"子网络，每次只激活其中K个（通常K=1或2）。数学表达：y = Σ g_i(x) · E_i(x)，其中g_i(x)是门控网络输出的路由权重，E_i(x)是第i个专家的输出。
这种"大参数量、小计算量"的特性，使得MoE模型可以在几乎不增加推理成本的前提下，将总参数量扩展到万亿级别。GPT-4、DeepSeek-V3/V4、Mixtral 8x22B等旗舰模型均采用MoE架构。
二、门控路由：MoE的大脑
门控网络（Gating Network）决定每个Token被分配给哪些专家。主流路由策略：
| 路由策略 | 核心思想 | 优点 | 缺点 |
|---|---|---|---|
| Top-K路由 | 选择门控分数最高的K个专家 | 简单高效，主流选择 | 负载不均衡 |
| Expert Choice | 专家主动选择Token（反向路由） | 负载更均衡 | 实现复杂 |
| Soft MoE | 所有专家加权组合，无硬分配 | 可微分，训练稳定 | 计算量略高 |
三、负载均衡：MoE训练的核心挑战
MoE训练的最大难题是负载不均衡——门控网络可能倾向于只激活少数几个专家，导致其他专家得不到训练（"专家坍缩"）。解决方案：
- 辅助损失（Auxiliary Loss）：惩罚专家使用分布的不均衡，鼓励均匀分配
- 专家容量限制（Expert Capacity）：每个专家最多处理固定数量的Token，溢出Token被丢弃或分配给次优专家
- Drop Token策略：当专家容量满时，丢弃当前Token或路由到次优专家
四、代表MoE模型对比
| 模型 | 总参数 | 激活参数 | 专家数 | 亮点 |
|---|---|---|---|---|
| Mixtral 8x7B | 47B | 13B | 8 | 开源，性能超越LLaMA2-70B |
| DeepSeek-V3 | 671B | 37B | 256 | FP8训练，成本仅500万美元 |
| GPT-4（传闻） | ~1.8T | ~220B | 16 | 推理能力最强 |
| Qwen3-MoE | ~100B | ~14B | 128 | 中文能力突出 |
五、MoE的优劣势与未来
优势：参数规模可扩展至万亿级；推理计算量仅为Dense模型的1/4-1/8；多任务场景下不同专家自然分化，实现隐式多任务学习。
挑战：分布式训练的All-to-All通信开销大；负载不均衡导致部分专家训练不充分；微调时门控网络容易崩溃（需特殊策略）。
未来方向：细粒度MoE（更多小专家）、动态专家激活（根据任务难度自适应K值）、MoE与检索增强的结合。
评论 (53)