🛡️ Agent Safety Rails 是什么？——AI的安全护栏系统

// 输入过滤规则示例

// 1. 关键词黑名单
const blacklist = [
  "rm -rf",
  "format c:",
  "drop table",
  "delete all",
  "shutdown"
];

// 2. 正则表达式匹配
const patterns = [
  /删除.*所有/,
  /格式化.*硬盘/,
  /清空.*数据库/
];

// 3. 语义分析
// 使用LLM判断指令是否危险
function isDangerous(input) {
  // 调用LLM分析指令意图
  const intent = await llm.analyze(input);
  return intent.danger_level > 0.8;
}

// 输出验证规则示例

// 1. JSON Schema验证
const schema = {
  type: "object",
  properties: {
    tool: { type: "string" },
    arguments: { type: "object" }
  },
  required: ["tool", "arguments"]
};

// 2. 类型检查
function validateType(value, expectedType) {
  if (typeof value !== expectedType) {
    throw new Error(`类型错误: 期望${expectedType}, 实际${typeof value}`);
  }
}

// 3. 范围约束
function validateRange(value, min, max) {
  if (value < min || value > max) {
    throw new Error(`范围错误: ${value} 不在 [${min}, ${max}] 内`);
  }
}

// 权限控制配置示例

{
  "permissions": {
    "tools": {
      "web_search": "allow",
      "web_fetch": "allow",
      "read": "allow",
      "write": "ask_once",
      "edit": "ask_once",
      "exec": "always_ask",
      "file_delete": "deny"
    },
    "resources": {
      "network": "allow",
      "filesystem": "restricted",
      "database": "deny"
    }
  }
}

// 权限级别：
// - allow: 自动允许
// - ask_once: 首次询问，后续自动
// - always_ask: 每次都询问
// - deny: 禁止使用

// 行为监控规则示例

// 1. 频率监控
const rateLimits = {
  "web_search": { max: 10, window: "1m" },
  "exec": { max: 5, window: "1m" },
  "file_write": { max: 20, window: "1m" }
};

// 2. 异常检测
function detectAnomaly(tool, args) {
  // 检测异常参数
  if (args.command && args.command.includes("rm -rf")) {
    return { level: "critical", reason: "危险命令" };
  }
  
  // 检测高频调用
  if (getCallCount(tool) > rateLimits[tool].max) {
    return { level: "warning", reason: "调用频率过高" };
  }
  
  return { level: "normal" };
}

// 3. 审计日志
function logAction(tool, args, result) {
  auditLog.push({
    timestamp: Date.now(),
    tool,
    args,
    result,
    user: currentUser
  });
}