性能压测

让压测导向真实的运营决策。

用 RPS、延迟、TTFT、吞吐、并发与成功率比较服务行为,再审查图表与输出产物。

Closed loopOpen loopAPI-first
抽象的性能决策路径

负载曲线

吞吐随并发而提升。

持续测试直至出现瓶颈

36.351
68.872
133.224

六项指标,一幅完整性能图景。

不止一个吞吐数字

RPS每秒请求数
tok/s输出吞吐
Latency平均 / P99
TTFT首 token 时间
并发扫描范围
成功率完成请求

解读曲线之前,先选择到达模型。

Closed loop

每位虚拟用户在上一个响应后再发下一请求,适合交互式容量行为。

Open loop

请求按目标速率到达,不依赖完成,适合到达压力实验。

Real EvalScope qwen-plus performance charts

真实运行的真实结果。

同一数据 · 更好洞察

Real performance overview
Real performance charts

可决策的证据

先读曲线,再做决策。

性能运行应解释服务在不同负载下的表现,而不是宣传一个孤立数字。

  • 并发变化下的吞吐
  • 延迟与首 Token 时间
  • 成功状态与运行产物

限制首次运行规模,保留产物。

测试兼容 API 时,无需模型权重或 GPU。

运行 API 压测
run-performance.sh
evalscope perf \
  --model qwen-plus \
  --number 24 \
  --parallel 1 2 4