MoE (Mixture of Experts)

📖 什么是MoE？

MoE（Mixture of Experts，专家混合模型）是一种模型架构，将大模型拆分成多个「专家」子网络，由路由器（Router）决定每个输入激活哪些专家。

代表模型：Mixtral 8x7B、GPT-4（据传）、DeepSeek-V3、Qwen-MoE。这些模型用更少的计算量实现了更强的性能。

💡 一句话理解

🏗️ MoE架构图解

灰色专家 = 未激活（不参与计算）

⚙️ 核心原理

MoE的核心思想：稀疏激活（Sparse Activation）

# 传统模型：所有参数都参与计算
params_used = total_params  # 100%

# MoE模型：只激活部分专家
total_experts = 8        # 8个专家
active_experts = 2       # 每次只激活2个
params_used = total_params * (2/8)  # 只用25%！

关键组件：

📊 Mixtral 8x7B 实例

Mixtral是最知名的开源MoE模型：

# Mixtral 8x7B 规格解读
总参数量: ~47B (8个专家 × ~6B参数)
实际激活: ~13B (每次只用2个专家)
等效性能: 接近70B密集模型

# 效率对比
密集模型70B: 需要 140GB 显存 (FP16)
Mixtral 8x7B: 只需 ~26GB 显存 (FP16)
节省约 80% 显存！

💻 代码示例：MoE路由

import torch
import torch.nn as nn

class MoELayer(nn.Module):
    def __init__(self, num_experts, d_model, d_ff):
        super().__init__()
        self.experts = nn.ModuleList([
            nn.Sequential(
                nn.Linear(d_model, d_ff),
                nn.ReLU(),
                nn.Linear(d_ff, d_model)
            ) for _ in range(num_experts)
        ])
        self.router = nn.Linear(d_model, num_experts)
        self.top_k = 2  # 激活top-2专家
    
    def forward(self, x):
        # 路由器计算每个专家的权重
        router_logits = self.router(x)  # [batch, seq, num_experts]
        
        # 选择top-k专家
        weights, indices = torch.topk(
            router_logits.softmax(dim=-1), 
            self.top_k
        )
        
        # 只计算被选中的专家
        output = torch.zeros_like(x)
        for i, expert in enumerate(self.experts):
            mask = (indices == i).any(dim=-1)
            if mask.any():
                output[mask] += expert(x[mask]) * weights[mask]
        
        return output

✅ 优势与挑战

🔗 相关术语

LLM（大语言模型） · Transformer（注意力机制） · 量化（Quantization） · 基础模型（Foundation Model） · 推理（Inference） · 投机解码 · AI Agent