01 详细解释
通常分三层:每分钟请求数(RPM)、每分钟 token 数(TPM)、以及并发数。超限会返回 429,需要指数退避重试。
上线前必须压测:按峰值并发算需要的配额,提前申请提升。很多「偶发失败」其实是限流,不是模型不稳。
对单位时间内的请求数或 token 数设上限。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
通常分三层:每分钟请求数(RPM)、每分钟 token 数(TPM)、以及并发数。超限会返回 429,需要指数退避重试。
上线前必须压测:按峰值并发算需要的配额,提前申请提升。很多「偶发失败」其实是限流,不是模型不稳。
每百万 token 多少钱只是表面。定价方式、SLA、数据驻留、模型下线与供应商锁定,才是合同里真正影响长期成本的部分。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。