提效幅度严格基准制:测试通过不构成提效证据,无基线对比数据一律C档封顶

- classifyVerifiability 新增 isPureGainDim(提效幅度/效果对比/效率提升)严格模式:
  此类维度仅基准对比数据可豁免C档,修复六边形战队无量化数据仍得6/10的问题
- verif 判档增加 VERIF pipeLog 调试行(tier/capped/eff 可观测)
- 补充3个单测:纯增益C封顶/基准豁免A/非纯增益B档行为不变
- AGENTS.md 同步三档机制说明
This commit is contained in:
hangshuo652
2026-08-26 13:32:31 +08:00
parent 040808ef6b
commit c16aa70aae
4 changed files with 39 additions and 3 deletions
+1 -1
View File
@@ -149,7 +149,7 @@ cloneRepo → discoverFiles → countCodeStats → tryBuild → tryBrowse/trySta
- **排名用多次聚合**`aggregateScores`/`aggregateEntryScores`standard-utils.ts)——最近 N 次(默认3)`review_snapshots.score` 中位数;N=2 平均、N=1 单次。聚合前提=各快照 `standard_snapshot` 一致。`<3 次标"初评(未达聚合样本)"`,排名区分正式/初评
- **快照分数列**`review_snapshots.score` 存含迟交扣分的 final_score(写快照时一并存,不解析 ai_report——它只有 totalScore)。历史快照 backfill 从 totalScore best-effort
- **可验证能力三档**`classifyVerifiability`,效果/提效类维度,校准之前判档):A=基准证据(`entries.benchmark_json` status=done);B=测试通过或覆盖率非 null;C=数据缺位→封顶 maxScore*0.3 + note"数据缺位(未证明),非无效"。**构建成功≠效果可验证**。C 档 note 渲染到前端维度表 + PDF
- **可验证能力三档**`classifyVerifiability`,效果/提效类维度,校准之前判档):A=基准证据(`entries.benchmark_json` status=done);B=测试通过或覆盖率非 null;C=数据缺位→封顶 maxScore*0.3 + note"数据缺位(未证明),非无效"。**构建成功≠效果可验证**。C 档 note 渲染到前端维度表 + PDF。**纯增益维度严格制(2026-08-26**`提效幅度/效果对比/效率提升` 类维度(isPureGainDim)测试通过**不构成**提效证据——无基线对比数据一律 C 档封顶(实测案例:六边形战队提效幅度无量化数据 raw=6,修复后同类场景 C≤3)
- **基准证据按 entry 落库**`entries.benchmark_json`,非 env 变量——MAX_CONCURRENT=3 并发会串数据)
- **确定性 L1**`detectStructuralContradictions`):仅证据性矛盾触发(有测试/基准证据但效果≈0 → under;效果高分+实现全低 → over)。**效果维度 under 一律丢弃**computeCalibration 内过滤)——效果维度只降不升,诚实由三档封顶负责。禁止"实现高分+无数据"当 under
- **overall 中性边界**`neutralizeTestEvidence`):测试 summary 含"中性"→ 标 `[中性证据]`;不含("未检测到测试框架配置"=真缺测试)→ 真实弱点。synthesizeOverall prompt 禁止把 `[中性证据]` 列为不足