开源 AI 评测基础设施

评测每个 AI 系统，证据全程可查。

一条可追溯的证据路径，覆盖 LLM、VLM、Agent、评测集、压测与每个决策背后的产物。

evalscope eval \
  --model your-model --eval-type openai_api \
  --api-url https://api.example.com/v1 \
  --api-key "$MODEL_API_KEY" \
  --datasets gsm8k --limit 5

一个系统，三种测量视角

让每一次 AI 发布都有据可查。

模型评测

LLM、VLM、AIGC、RAG 任务，具备样本 review、Judge 契约、语义版本与可携带产物。

Agent 与 Harness

跨原生 Agent 评测和外部 Harness 工作流，测量请求、工具、token 与最终结果。

性能压测

将并发、延迟、RPS、TTFT 与吞吐转化为可复现的服务决策。

证据，而非单一分数

从输入到决策，一条可复现的路径。

输入、预测、review、报告、配置和版本化 metadata 彼此关联，结果可被审查，而不只是重复运行。

输入与配置

TaskConfig

API 模型

本地模型

评测集

自定义数据

原生评测

注册表

数据适配器

模型

评测器

预测

审查 / 裁判

指标与聚合

可审查产物

日志

配置

预测

审查

报告

仪表盘

Agent 与 Harness

Agent 循环

工具与环境

轨迹与结果

审查 / 裁判

服务性能

工作负载

服务端点

压测执行器

TTFT · RPS · 吞吐

图 01EvalScope 架构

已录制的 CLI 运行

真实输出的 CLI Demo。

录制回放

$ evalscope eval \

--model qwen-plus \

--eval-type openai_api \

--api-url https://dashscope.aliyuncs.com/compatible-mode/v1 \

--api-key "$DASHSCOPE_API_KEY" \

--datasets gsm8k arc --limit 5 --seed 42 \

--generation-config stream=True \

--work-dir outputs/website-terminal-demo

2026-09-11 10:32:18 - evalscope - INFO: Args: Task config is provided with CommandLine type.

2026-09-11 10:32:19 - evalscope - INFO: Running with native backend

2026-09-11 10:32:19 - evalscope - INFO: Dump task config to outputs/website-terminal-demo/20260911_103219/configs/task_config.yaml

"generation_config": {"batch_size": 8, "stream": true}

2026-09-11 10:32:19 - evalscope - INFO: Start loading benchmark dataset: gsm8k

2026-09-11 10:32:19 - evalscope - WARNING: gsm8k: 5 samples to evaluate (1 subset, --limit=5 per subset).

2026-09-11 10:32:19 - evalscope - INFO: Subsets of gsm8k: ['main']

2026-09-11 10:32:19 - evalscope - INFO: Loading model for prediction...

Running[eval]: 0%| | 0/2 [00:00<?, ?benchmark/s]

2026-09-11 10:32:25 - evalscope - INFO: Evaluating[gsm8k] 100%| 5/5 [Elapsed: 00:06 < Remaining: 00:00]

2026-09-11 10:32:25 - evalscope - INFO: gsm8k report table:

┌───────────┬───────────┬────────────┬──────────┬───────┬─────────┐
│ Model     │ Dataset   │ Metric     │ Subset   │   Num │ Score   │
├───────────┼───────────┼────────────┼──────────┼───────┼─────────┤
│ qwen-plus │ GSM8K     │ Accuracy ↑ │ main     │     5 │ 100%    │
└───────────┴───────────┴────────────┴──────────┴───────┴─────────┘

2026-09-11 10:32:25 - evalscope - INFO: gsm8k perf table:

Model      Dataset      Num  Avg Lat    Avg TTFT    Avg TPOT    Avg Thpt       Avg In    Avg Out
---------  ---------  -----  ---------  ----------  ----------  -----------  --------  ---------
qwen-plus  GSM8K          5  3.768 s    587.2 ms    17.9 ms     49.62 tok/s       659        187

2026-09-11 10:32:25 - evalscope - INFO: Start loading benchmark dataset: arc

2026-09-11 10:32:25 - evalscope - WARNING: arc: 10 samples to evaluate (2 subsets, --limit=5 per subset).

2026-09-11 10:32:25 - evalscope - INFO: Subsets of arc: ['ARC-Easy', 'ARC-Challenge']

2026-09-11 10:32:26 - evalscope - INFO: Evaluating[arc] 100%| 10/10 [Elapsed: 00:01 < Remaining: 00:00]

2026-09-11 10:32:26 - evalscope - INFO: arc report table:

┌───────────┬───────────┬────────────┬───────────────┬───────┬─────────┐
│ Model     │ Dataset   │ Metric     │ Subset        │   Num │ Score   │
├───────────┼───────────┼────────────┼───────────────┼───────┼─────────┤
│ qwen-plus │ ARC       │ Accuracy ↑ │ ARC-Easy      │     5 │ 100%    │
├───────────┼───────────┼────────────┼───────────────┼───────┼─────────┤
│ qwen-plus │ ARC       │ Accuracy ↑ │ ARC-Challenge │     5 │ 80%     │
├───────────┼───────────┼────────────┼───────────────┼───────┼─────────┤
│ qwen-plus │ ARC       │ Accuracy ↑ │ OVERALL       │    10 │ 90%     │
└───────────┴───────────┴────────────┴───────────────┴───────┴─────────┘

2026-09-11 10:32:26 - evalscope - INFO: arc perf table:

Model      Dataset      Num  Avg Lat    Avg TTFT    Avg TPOT    Avg Thpt      Avg In    Avg Out
---------  ---------  -----  ---------  ----------  ----------  ----------  --------  ---------
qwen-plus  ARC           10  0.496 s    400.8 ms    31.8 ms     8.06 tok/s       116          4

2026-09-11 10:32:27 - evalscope - INFO: HTML report generated: outputs/website-terminal-demo/20260911_103219/reports/report.html

2026-09-11 10:32:27 - evalscope - INFO: Finished evaluation for qwen-plus on ['gsm8k', 'arc']

2026-09-11 10:32:27 - evalscope - INFO: Output directory: outputs/website-terminal-demo/20260911_103219

GSM8K + ARC · 15 samples · streaming enabled2026-09-11 10:32:19 +08:00outputs/website-terminal-demo/20260911_103219

$ evalscope perf \

--model qwen-plus --api openai \

--url https://dashscope.aliyuncs.com/compatible-mode/v1 \

--api-key "$DASHSCOPE_API_KEY" \

--tokenizer-path /path/to/Qwen2.5-0.5B-Instruct \

--dataset random --min-prompt-length 1024 --max-prompt-length 1024 \

--max-tokens 100 --temperature 0 --stream \

--number 24 24 24 --parallel 1 2 4 --warmup-num 3 \

--outputs-dir outputs/website-terminal-demo

2026-09-11 10:32:41 - evalscope - WARNING: URL "https://dashscope.aliyuncs.com/compatible-mode/v1" has no endpoint path, auto-appended "/chat/completions".

2026-09-11 10:32:41 - evalscope - INFO: Save the result to: outputs/website-terminal-demo/20260911_103241/qwen-plus

2026-09-11 10:32:45 - evalscope - INFO: Test connection successful.

2026-09-11 10:32:45 - evalscope - INFO: Warmup enabled: 3 warmup requests (total: 27, benchmark: 24)

Running[perf]: 0%| | 0/3 [00:00<?, ?it/s]

╭──────────────────────────────────────────────────────────────────────────────╮
│ Performance Test Summary Report                                              │
╰──────────────────────────────────────────────────────────────────────────────╯

Basic Information:
┌───────────────────────┬──────────────────────────────────────────────────────┐
│ Model                 │ qwen-plus                                            │
│ Test Dataset          │ random                                               │
│ API Type              │ openai                                               │
│ Total Generated       │ 7,200.0 tokens                                       │
│ Avg Output Rate       │ 73.3 tok/s                                           │
│ Total Test Time       │ 98.23 s                                              │
│ Output Path           │ outputs/website-terminal-demo/20260911_103241/qwen-… │
└───────────────────────┴──────────────────────────────────────────────────────┘


             Performance Overview
┏━━━━━━┳━━━━━━┳━━━━━┳━━━━━━┳━━━━━━━━┳━━━━━━━━┓
┃Conc. ┃ Rate ┃ Num ┃  RPS ┃  Gen/s ┃ Success┃
┡━━━━━━╇━━━━━━╇━━━━━╇━━━━━━╇━━━━━━━━╇━━━━━━━━┩
│    1 │    - │  24 │ 0.47 │     47 │    100%│
│    2 │    - │  24 │ 0.79 │  79.41 │    100%│
│    4 │    - │  24 │ 1.42 │ 141.66 │    100%│
└──────┴──────┴─────┴──────┴────────┴────────┘


                         Per-Request Metrics
┏━━━━━━┳━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━┓
┃Conc. ┃ Rate ┃ Metric            ┃    avg ┃    p50 ┃    p99 ┃    max┃
┡━━━━━━╇━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━┩
│    1 │    - │ Latency (s)       │  2.128 │   2.02 │   2.92 │   2.92│
│      │      │ TTFT (ms)         │ 433.25 │ 413.21 │ 721.08 │ 721.08│
│      │      │ TPOT (ms)         │  17.11 │  15.82 │  23.46 │  23.46│
│      │      │ Input Tokens      │   1003 │   1003 │   1003 │   1003│
│      │      │ Output Tokens     │    100 │    100 │    100 │    100│
│      │      │ Cache Hit (%)     │     0% │      - │      - │      -│
│      │      │ Decode toks/s     │  58.45 │      - │      - │      -│
│      │      │ Decoded Tok/Iter  │   5.02 │      - │      - │      -│
│      │      │ Spec. Accept Rate │  80.1% │      - │      - │      -│
├──────┼──────┼───────────────────┼────────┼────────┼────────┼───────┤
│    2 │    - │ Latency (s)       │  2.419 │   2.38 │   3.45 │   3.45│
│      │      │ TTFT (ms)         │ 446.91 │ 423.58 │  779.5 │  779.5│
│      │      │ TPOT (ms)         │  19.91 │  19.44 │     29 │     29│
│      │      │ Input Tokens      │   1003 │   1003 │   1003 │   1003│
│      │      │ Output Tokens     │    100 │    100 │    100 │    100│
│      │      │ Cache Hit (%)     │     0% │      - │      - │      -│
│      │      │ Decode toks/s     │  50.23 │      - │      - │      -│
│      │      │ Decoded Tok/Iter  │   4.76 │      - │      - │      -│
│      │      │ Spec. Accept Rate │    79% │      - │      - │      -│
├──────┼──────┼───────────────────┼────────┼────────┼────────┼───────┤
│    4 │    - │ Latency (s)       │  2.357 │   2.48 │   3.01 │   3.01│
│      │      │ TTFT (ms)         │ 405.09 │ 352.01 │ 845.67 │ 845.67│
│      │      │ TPOT (ms)         │  19.71 │  21.83 │  25.76 │  25.76│
│      │      │ Input Tokens      │   1003 │   1003 │   1003 │   1003│
│      │      │ Output Tokens     │    100 │    100 │    100 │    100│
│      │      │ Cache Hit (%)     │     0% │      - │      - │      -│
│      │      │ Decode toks/s     │  50.74 │      - │      - │      -│
│      │      │ Decoded Tok/Iter  │   4.71 │      - │      - │      -│
│      │      │ Spec. Accept Rate │  78.8% │      - │      - │      -│
└──────┴──────┴───────────────────┴────────┴────────┴────────┴───────┘


                             Workload Throughput
┏━━━━━━┳━━━━━━┳━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓
┃Conc. ┃ Rate ┃ Metric (tok/s)      ┃ Overall ┃ Last 30s ┃ Steady (drop 20%)┃
┡━━━━━━╇━━━━━━╇━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩
│    1 │    - │ Total Prompt tok/s  │  471.37 │   478.68 │            464.66│
│      │      │ New Prompt tok/s    │  471.37 │   478.68 │            464.66│
│      │      │ Cached Prompt tok/s │       0 │        0 │                 0│
│      │      │ Completion tok/s    │      47 │    47.73 │             46.33│
├──────┼──────┼─────────────────────┼─────────┼──────────┼──────────────────┤
│    2 │    - │ Total Prompt tok/s  │  796.49 │   844.58 │            847.26│
│      │      │ New Prompt tok/s    │  796.49 │   844.58 │            847.26│
│      │      │ Cached Prompt tok/s │       0 │        0 │                 0│
│      │      │ Completion tok/s    │   79.41 │    84.21 │             84.47│
├──────┼──────┼─────────────────────┼─────────┼──────────┼──────────────────┤
│    4 │    - │ Total Prompt tok/s  │ 1420.83 │  1420.83 │           1649.88│
│      │      │ New Prompt tok/s    │ 1420.83 │  1420.83 │           1649.88│
│      │      │ Cached Prompt tok/s │       0 │        0 │                 0│
│      │      │ Completion tok/s    │  141.66 │   141.66 │            164.49│
└──────┴──────┴─────────────────────┴─────────┴──────────┴──────────────────┘

2026-09-11 10:34:36 - evalscope - INFO: Performance summary saved to: outputs/website-terminal-demo/20260911_103241/qwen-plus/performance_summary.txt

2026-09-11 10:34:36 - evalscope - INFO: HTML report generated: outputs/website-terminal-demo/20260911_103241/qwen-plus/perf_report.html

Random workload · 3 concurrency tiers · 72 streamed requests2026-09-11 10:32:41 +08:00outputs/website-terminal-demo/20260911_103241/qwen-plus

$ evalscope service \

--host 127.0.0.1 --port 9000 \

--outputs outputs/website-terminal-demo

2026-09-11 10:12:02 - evalscope - INFO: Starting EvalScope service on 127.0.0.1:9000

2026-09-11 10:12:02 - evalscope - INFO: Available endpoints:

2026-09-11 10:12:02 - evalscope - INFO: GET /health - Health check

2026-09-11 10:12:02 - evalscope - INFO: POST /api/v1/eval/invoke - Run model evaluation task (blocking)

2026-09-11 10:12:02 - evalscope - INFO: GET /api/v1/eval/report - Get HTML evaluation report

2026-09-11 10:12:02 - evalscope - INFO: POST /api/v1/perf/invoke - Run performance benchmark task (blocking)

2026-09-11 10:12:02 - evalscope - INFO: GET /api/v1/perf/report - Get HTML performance benchmark report

2026-09-11 10:12:02 - evalscope - INFO: Dashboard: http://127.0.0.1:9000/dashboard

🌐 EvalScope Dashboard: http://127.0.0.1:9000/dashboard

* Serving Flask app 'evalscope.service.app'

* Debug mode: off

* Running on http://127.0.0.1:9000

2026-09-11 10:12:02,087 - werkzeug - INFO: Press CTRL+C to quit

$ curl --fail --silent http://127.0.0.1:9000/health

{"service":"evalscope","status":"ok","timestamp":"2026-09-11T10:12:13.572514"}

2026-09-11 10:12:13,572 - werkzeug - INFO: 127.0.0.1 - - [11/Sep/2026 10:12:13] "GET /health HTTP/1.1" 200 -

Dashboard available · /health returned 200 OK2026-09-11 10:12:02 +08:00outputs/website-terminal-demo

AGENT 与 HARNESS

追踪 Agent 答案背后的执行过程。

将模型请求、工具调用、Token 用量和提交结果保留在同一份可审查的任务记录中。

任务上下文工具证据最终结果

查看 Agent 详情

Light Agent Trace with model requests and tool calls

性能压测

用证据而非单个数字做容量决策。

在同一份运行记录中比较并发、延迟、TTFT、吞吐与成功率，并让图表始终与配置关联。

查看性能细节

Light performance charts and run comparison

BENCHMARK 目录

找到真正匹配问题的评测集。

在运行前查看任务类型、模态、指标与评测版本；目录始终关联自动生成的文档与可运行 metadata。

浏览全部评测集

250+个评测集已收录

LLMVLMAgentAIGC

证据视图

从指标追溯到完整证据。

查看可视化详情

开始使用

让 AI 帮你用，或一条命令开始。

通过 AI 编程助手或终端启动一次小型 API 评测；两条路径都会保留同一套证据。

需要 API 端点配置、任务提示词或排错说明？请继续阅读完整指南。

打开完整使用指南

让 AI 帮你用

交给 AI 的评测说明

Use the EvalScope project skill to evaluate a model served through an OpenAI-compatible API on five GSM8K samples. Ask me for the model name, endpoint, and credentials configuration you need before running it, then report the results and where the outputs were saved.

命令行

安装服务工具提供 CLI 与本地 Dashboard。

运行五条样本使用服务商提供的端点与 API key 调用远端模型。

检查产物从 ./outputs 打开报告、预测与配置。

pip install 'evalscope[service]'
export MODEL_API_KEY='…'
evalscope eval \
  --model your-model --eval-type openai_api \
  --api-url https://api.example.com/v1 \
  --api-key "$MODEL_API_KEY" \
  --datasets gsm8k --limit 5
evalscope service --outputs ./outputs