speed吞吐控制室
RPM / TPM / 并发计算器
把模型供应商的限流额度换算成可持续 QPS、所需并发数和每日吞吐,提前规划生产容量
当前瓶颈TPM 限制0 RPM
供应商限额
填写供应商控制台显示的账号或模型限额
单次请求画像
建议填写线上平均值,而不是模型上下文上限
payments可选:成本估算expand_more
容量规划结果
结果已扣除 20% 安全余量
calculate容量公式
可持续 RPM = min(可用 RPM,可用 TPM ÷ 单次 Token)并发数 = 向上取整(QPS × 平均响应时间)这是稳定状态下的容量估算,实际系统仍需配置重试退避、队列上限和供应商特有的突发规则
微信扫一扫