限流建议

合理的客户端限流可以保护账户余额，并减少误用导致的异常消耗。

建议限制

维度	建议
单 Key 并发	从 1 到 3 开始，按用途放宽
单用户并发	普通用户限制低于团队成员或正式业务
单次 prompt tokens	测试阶段保持较小上下文
每小时总 tokens	自动化任务设置预算上限
失败重试	指数退避，禁止无间隔重试

客户端行为

请避免以下行为：

• 在短时间内连续发起大上下文请求
• 请求失败后立即无限重试
• 多个客户端共用同一个 API Key
• 在浏览器前端直接暴露 API Key
• 在未验证成本前承载生产任务

推荐重试策略

const delays = [1000, 2000, 5000]

for (const delay of delays) {
  try {
    // request
    break
  } catch (error) {
    await new Promise((resolve) => setTimeout(resolve, delay))
  }
}

TIP

如果响应变慢，优先检查调用记录里的耗时、prompt tokens 和模型配置，而不是盲目增加客户端重试。