质量与评测:Evals、测试数据与 Tool Evaluation
Cookbooks 的一个重要价值在于:不仅给“能跑的示例”,还给“怎么评测/怎么对齐质量”的方法论与可运行脚本。
推荐 Notebook
1) 构建 Evals(从概念到落地)
2) 生成测试用例(合成数据)
3) Tool Evaluation(专门评测工具调用)
4) Agent 里的质量回路(可选)
Evaluator-Optimizer 归档在 Agent 模式专题里:
../agent-patterns/evaluator-optimizer
与仓库“质量门禁”的关系
如果你在团队里要复用/二次开发这些 notebook,建议把质量收敛到两条线:
- 结构与可复现:
make test-notebooks(快、适合 CI) - 真实执行与回归:
make test-notebooks-exec(慢、适合定期/抽样)
先让“最小评测”跑通,再逐步把指标、样本覆盖、以及失败诊断做细,通常比一次性追求大而全更稳。