🔀 LLM Router & Failover (LLM路由与故障转移)

定义：LLM Router是智能路由系统，根据任务类型、成本要求、性能需求等因素，将请求分发到最合适的模型或服务商。Failover是保障高可用的自动故障转移机制——当主模型不可用时，无缝切换到备用模型，确保服务不中断且成本可预测。

为什么需要LLM Router？

单一模型策略在工程化场景下存在致命缺陷：

路由策略对比

┌──────────────┬────────────────────────────────┬──────────────┐
│    策略       │              适用场景           │    效果       │
├──────────────┼────────────────────────────────┼──────────────┤
│ 成本优先       │ 高并发、低价值任务               │ 节省60%+成本  │
│ 质量优先       │ 核心功能、客户面向               │ 保证最高质量  │
│ 延迟优先       │ 实时交互、流式响应               │ p95<500ms    │
│ 语义路由       │ 按内容类型匹配最佳模型           │ 综合最优      │
│ 自适应路由     │ 动态学习请求模式，自动调整        │ 持续优化      │
│ 回退链         │ 多层Failover保障                │ 99.99%可用性  │
└──────────────┴────────────────────────────────┴──────────────┘

OpenClaw 实战：构建智能路由系统

场景1：多模型路由 + 自动故障转移

// OpenClaw 多模型路由配置
openclaw.routes({
  models: [
    {
      name: "claude-opus",
      provider: "anthropic",
      priority: 1,         // 主模型
      cost: 15,            // $/M tokens
      capabilities: ["reasoning", "code", "vision"],
      rateLimit: 1000
    },
    {
      name: "gpt-5",
      provider: "openai",
      priority: 2,        // 第一备选
      cost: 10,
      capabilities: ["reasoning", "code"],
      rateLimit: 2000
    },
    {
      name: "deepseek-v4",
      provider: "deepseek",
      priority: 3,        // 第二备选
      cost: 0.5,
      capabilities: ["reasoning", "code"],
      rateLimit: 5000
    }
  ],
  
  routing: {
    strategy: "cost-quality",
    fallback: true,
    circuit_breaker: {
      failures: 3,
      reset_after: "30s"
    },
    retry: {
      max_attempts: 3,
      backoff: "exponential"
    }
  }
});

// 请求自动路由 + 故障转移
const response = await openclaw.llm.generate({
  prompt: "解释Transformer注意力机制",
  priority: "high",
  maxCost: 0.05
});
// 自动选择：claude-opus → 不可用 → gpt-5 → 不可用 → deepseek-v4 ✓

场景2：智能语义路由

// 按任务类型自动路由
openclaw.skill("smart-router", {
  classify(prompt) {
    const type = this.detectTaskType(prompt);
    
    const routes = {
      "code_generation": { model: "claude-opus", temperature: 0.1 },
      "creative_writing": { model: "gpt-5", temperature: 0.8 },
      "translation": { model: "deepseek-v4", temperature: 0.0 },
      "classification": { model: "gpt-4o-mini", temperature: 0.0 },  // 省钱
      "summarization": { model: "claude-sonnet", temperature: 0.2 }
    };
    
    return routes[type] || routes["classification"]; // 默认走低成本
  }
});

场景3：成本控制 + 配额管理

// 带预算控制的路由器
openclaw.skill("budget-aware-router", {
  state: {
    dailyBudget: 100,       // 每日预算 $100
    spent: 0,
    quota: {
      claude: { limit: 500, used: 0 },
      openai: { limit: 1000, used: 0 }
    }
  },
  
  async route(request) {
    // 预算检查
    if (this.state.spent >= this.state.dailyBudget) {
      return this.fallbackToCheapest(request);
    }
    
    // 配额检查
    if (this.state.quota.claude.used >= this.state.quota.claude.limit) {
      return this.routeToOpenAI(request);
    }
    
    // 正常路由
    return this.routeNormal(request);
  }
});
💡 最佳实践：推荐的"三层回退链"——Level 1（主力旗舰模型）、Level 2（备选旗舰）、Level 3（低成本模型兜底）。同时配合Circuit Breaker模式，避免反复调用已宕机的模型。

相关概念

总结

LLM Router & Failover 是AI服务工程化的必修课。没有它，你的Agent就是"一碰就碎"的纸老虎。OpenClaw内置的多模型路由和故障转移能力，让你可以像管理负载均衡一样管理LLM请求——高可用、低成本、零中断。

妙趣AI · 术语百科 · OpenClaw 教程