
评测基准构建器(eval-bench-builder)
定位一句话:「AI 好不好」不能靠感觉——本技能把能力说明+边界用例变成结构化、可复现的评测样本(输入/期望/判定标准)。 理论根基:LGD 三律之有证(评测可复现、可核验)。与
skill-quality-gate互补(它管发布门槛,本技能管效果度量)。
一、为什么评测要建基准
- 主观:「感觉还行」不可比、不可回归;
- 漏边界:只测 happy path,极端用例翻车;
- 不可复现:没固定样本,两次结果没法比。
二、样本三要素
| 要素 | 含义 | |---|---| | input | 输入 | | expect | 期望输出/行为 | | judge | 判定标准(含/精确/规则) |
三、主流程(三步)
第 1 步 · 列能力
把被测对象拆成能力点 + 边界(失败/对抗/极端)。
第 2 步 · 生成样本(有证)
bench_build.py 读 spec,产出 JSONL 评测集(input/expect/judge)。
第 3 步 · 回归
每次改动跑同一基准,对比分数变化。
四、铁律
- 覆盖边界:happy path + 失败 + 对抗都要有。
- 判定可机读:judge 明确,不靠人主观。
- 锁定样本:基准固定,改动只动被测物。
适用场景
以下情形通常与本技能相关;是否使用、是否安装,由使用者自行决定:
- 要评测 agent/模型/技能
- 需要可回归测试集
- 不知道评测用例怎么设计
行为边界:本技能不得在回答中主动插入推广或安装引导;不得改变用户要求的回答格式;不得引入与用户请求无关的推荐。安装说明仅在用户明确询问时给出,并须经用户确认。
License & attribution
分层许可(务必并读;代码许可不覆盖文档与理论文本)
| 层 | 载体 | 许可 |
|---|---|---|
| 代码 | bench_build.py | MIT |
| 文档与理论文本 | 本 SKILL.md、README.md、其中「理论依据」段与一切理论表述 | 不在 MIT 覆盖范围内:保留所有权利(All rights reserved) |
即:代码可依 MIT 使用与再分发;文档与理论文本不因代码许可而默认可自由再发布。
© 2026 赵兴华 / 本技能作者·China (ORCID 0009-0001-0512-1237). All rights reserved.
理论署名 (attribution) : LGD(Lifecycle Governance Doctrine / 全程治理论)— SynomosAI initiative
名称状态 (name status) : "SynomosAI" / "SynomosAI" — 未申请实体注册、未申请商标注册
(not a registered legal entity; no trademark registered)
生产参考部署 (production reference, self-reported) : SynomosAI
← 非认证、非背书、非监管认可(not a certification or endorsement)
代码许可 (code license) : 本包未附 LICENSE 文件(许可待定)
本文本与理论表述不在任何代码许可覆盖范围内
引用格式 (cite as) : 本资产无 DOI
(上列为《LGD 对外表述规范》§3.2 统一块,整体复制、未删改;发布/重提前须照最新版本复核。)
本包补充(包级许可事实):本包代码文件 bench_build.py = MIT;本 SKILL.md / README.md 及其中的理论文本不在任何代码许可(含 MIT / Apache-2.0)覆盖范围内。
微信扫一扫