跳转到内容
打开 Castaly控制台

站点特色

分组容灾切换

为普通 Key 配置一个主分组,以及按优先级排列的备选分组。

路由分组是一组上游渠道。普通 API Key 指定一个主分组,并可以再配置按优先级排列的备选分组。主分组无法服务这次请求时,网关会沿着这个列表继续尝试,而不是直接给客户端返回错误。

API Keys 里创建或编辑 Key 时配置这条链路。顺序有意义,控制台支持上移和下移。

  • 该分组没有渠道能服务请求中的模型。
  • 该分组对当前账号已经达到限流上限。
  • 该分组内的所有渠道优先级都试过了,仍然返回可重试的错误。

一个分组会先用完自己内部的全部渠道优先级,才会轮到下一个分组。也就是说,备选切换是换线路,而不是对同一个上游多重试一次。

容灾切换只覆盖线路和连接类问题。以下情况会立即结束请求:

  • 客户端错误——JSON 格式错误、参数非法、超出上下文长度;
  • 客户端主动断开连接;
  • 指定了具体渠道的请求;
  • 流式响应已经向客户端写出真实内容。心跳字节本身不影响切换,但只要正文已经写出,这次请求就不会再在另一条线路上重放。

发生切换后,请求按实际服务它的那个分组的倍率计费,而不是按主分组。消耗日志会记录最终服务的分组。

限时线路本身就是临时的。当一把 Key 的主分组是活动线路时,保存这把 Key 必须至少指定一个具体的备选分组,这样活动结束后 Key 仍然可用。

智能 API Key 本来就会按路由策略遍历账号可用的全部分组,因此不再单独配置备选分组列表。