必须先有的材料
- 版本化黄金集、案例谱系、能力覆盖图
- 标注队列、评分者一致性、金题陷阱
- 裁判校准子集与量规维度
- 切片通过阈值与签发人
需求 / 适用前提
没有版本化黄金集，回归无处比
工作台管评测运营，不是微调执行。没有带谱系的黄金集和切片阈值，候选不得进闸。
谁在用
- 模型/提示词工程
- 评测与数据运营
- 产品 QA 签发
现在为什么静默回退
- 黄金集散落在表格
- 偏好标注在聊天软件里，无 κ
- 改一处修好、十处悄悄坏，无闸
如何工作
黄金集 · 标注 · 校准 · 回归闸 · 签发
- 黄金集工作台。 案例谱系、分层抽样、能力覆盖。事故一键成候选，不自动入库。
- 标注战役。 队列、吞吐量、Cohen's κ、金题陷阱。
- 裁判校准。 LLM-as-judge 对人标子集，锁定校准版本才可自动跑。
- 回归闸。 每切片阈值。候选相对基线出新打断案例。
- 签发记分牌。 自动分、抽检、必要批准人，带审计。
闸口演练
把指针拖过八十五
上图默认多跳日期推理 72 分，阈值 85。拖过阈值才允许该切片过闸；其它切片、人抽检与签发人仍须齐。回归分诊只写假设摘要，不自动改提示词。
打开 https://apps.chatsoftware.cn/eval-foundry/ 看黄金集、标注、校准、闸报、签发。
使用者价值
出厂有闸，回退有差
工程
每次提示词改动对着基线出新打断案例，不再凭感觉上线。
评测运营
κ 和金题陷阱管住标注质量，裁判版本可锁。
QA 签发
记分牌把自动分和抽检收成可签字的出厂报告。
边界
评测，不训练
- 不执行微调或训练。评测运营而已。
- 没有脱离数据集和闸的提示词游乐场。
- 案例合成须人审，永不自动写入黄金集。
- 失败行不闪烁羞辱；橙色只表示未过闸。
进出角色
谁跑闸，谁只盖章
进入
- 黄金集版本、候选模型/提示
- 人标、κ、裁判版本
- 切片阈值与基线
出去
- 过闸 / 拒收 / 待签发
- 新打断案例差、假设摘要
- 带审计的出厂记分牌