Commit Graph
90 Commits
Author SHA1 Message Date
lhl c1fbcff088 feat(writer): add template_mapper (ParsedTemplate -> ChapterSpec) 2026-08-13 09:31:28 +08:00
lhl 8db9cbfdf7 fix(services): make RagService protocol sync + fix no-op isinstance assertion 2026-08-13 09:27:16 +08:00
lhl ce64f2536f feat(services): add RagService protocol + CannedRagService stub 2026-08-13 09:20:43 +08:00
lhl 22ba32c34f feat(writer): add WriterGenerationError 2026-08-13 09:11:58 +08:00
lhl 6540698bf6 feat(writer): add Phase5 data models (ContentBlock/ChapterContent/GenerationContext/ChapterSpec) 2026-08-13 09:08:08 +08:00
lhl c7e7c95a19 plan(phase5): 锁定 Writer/QA 设计评审修正与实施计划基线
- spec 据 4 项评审决策落地 14 处修正 + GSTACK REVIEW REPORT
- 实施计划 16 任务 / 3 里程碑(M1 基础件 / M2 垂直切片 / M3 闭环硬化)
- _AI_USAGE_LOG.md 登记评审与计划
2026-08-13 09:06:11 +08:00
lhl dbf8c12881 docs: Phase5 spec 自审固化两处歧义(循环耗尽标记 / note 渲染降级) 2026-08-12 23:32:52 +08:00
lhl 0b16aeab49 docs: Phase 5 Writer/QA 完整实现设计规格(方案A,离线条到端) 2026-08-12 23:32:26 +08:00
lhl 0b704fb07e feat: QA 护栏 + fallback 路由(T15 架构审查整改收官,OV6)
- src/genesis/qa/guardrails.py: resolve_qa_model() 强制 QA 走 fallback 模型(防
  DeepSeek 校验 DeepSeek 自校验盲区);QALoopController(max_rounds=3) 约束
  「QA→Writer修正→重校验」循环边界防无限
- 集成测试验证 QA 调用实际落到 fallback 而非 primary(FakeLLMClient 记录 model)
- design.md §7.4 补 QA 护栏说明(循环边界 + 独立校验模型)
- TDD:257 passed / 100.00% 覆盖,17 项架构审查整改全部完成
2026-08-12 23:24:15 +08:00
lhl a1336f6dd3 docs: Writer 串行约束写回(T10 架构审查整改,I14)
- design.md §6.8.1 新增串行生成约束:理由(章间引用依赖前章 WriterState /
  并行收益低复杂度高 / Token 友好)+ 落地点(编排层严格顺序串行、UI 预估
  总时长与逐章进度、禁止并发多章)
- api-design §4.3 补串行消费说明(对应 §6.8.1)
- web-ui-design 进度 UI 补串行语义(预计=章数×单章 3-5 分)
- 纯文档,无代码变更;全量 248 passed / 100.00% 不回归
2026-08-12 23:11:14 +08:00
lhl 3ae1f5f38f refactor(parsers): 提取 _validate_path helper(T7 架构审查整改,I8 DRY)
- source_aggregator.py 三处重复校验(扩展名白名单 + 存在性)提取为
  _validate_path(path, allowed_exts) -> Path,保留 ValueError/FileNotFoundError
  语义与错误信息,parse 三分支改用 helper
- 外部契约不变:未知扩展名→ValueError、不存在→FileNotFoundError
- 新增 3 用例直接测 helper
- TDD: RED(helper 不存在)→ GREEN(聚焦 13 passed)→ 全量 248 passed / 100.00%(1356 stmts/332 br)
2026-08-12 23:01:58 +08:00
lhl e3c714d5d9 feat(writer): docx 注入原型提前(T17 架构审查整改,OV8)
- T17 (OV8, P1): 新建 src/genesis/writer/ 包
  - docx_injector.py: DocxInjector 用原生 python-docx 实现 §6.6 占位符注入
    - 章节级 {{section:id}} → 内容块 docx 元素序列(heading/paragraph/table)
    - 行内 {{meta}} → 元信息填充
    - 残留检查: 未替换 {{...}} 抛 DocxInjectError
    - 格式精度: 注入 heading 继承模板 Heading 样式,原内容不被破坏
  - 新增 test_docx_injector.py(5 用例)
  - 同步 design.md §6.7 渲染链路 T17 原型说明
- TDD: RED(模块缺失)→ GREEN(聚焦 5 passed)→ 全量 245 passed / 100.00%(1361 stmts/340 br)
2026-08-12 22:47:43 +08:00
lhl d2e651bad0 feat(eval): 黄金集 + 评分器(T13 架构审查整改,OV4)
- T13 (OV4, P1): 新建 src/genesis/eval/ 包
  - golden_set.py: GoldenCase/GoldenSet(YAML 加载,samples/ 真实脱敏样本作 input_ref)
  - scorer.py: ChapterScorer 按 §7.2 指标体系打分
    - 确定性维度: traceability(resolver 验证 source_uri 可解析率)/
      placeholder_residue(无 {{...}} 残留)/chapter_completeness(章节覆盖)
    - LLM 语义维度: llm_evaluators 钩子(默认中性分,待 Phase5)
  - tests/fixtures/eval/golden_set.yaml 示例黄金集
- 新增 test_eval_scorer.py(9 用例)
- 同步 design.md §7.5 黄金集与评分器(定位 CI 质量门禁)
- TDD: RED(模块缺失)→ GREEN(聚焦 8 passed)→ 全量 240 passed / 100.00%(1279 stmts/308 br)
2026-08-12 22:44:47 +08:00
lhl 69aec7716c feat(provenance): URI 统一 + resolver + 强验证(T12 架构审查整改)
- T12 (OV3, P1): 新建 src/genesis/parsers/resolver.py
  - parse_source_uri: 解析 file.xlsx#Sheet!CellRef → SourceRef(格式非法 raise URIError)
  - provenance_to_uri: Provenance 还原 URI(与 build_source_uri 互逆)
  - resolve_source_uri: StructuredSource 内定位真实 CellValue
  - validate_source_uris: 批量强验证 → ValidationResult(resolved/unresolved)
    格式错误或源中不存在一律 unresolved(防 QA#8 编造 URI 作弊)
- URI 唯一生成入口 build_source_uri(provenance.py),无散落不一致
- 新增 test_resolver.py(13 用例);同步 design.md §9.2 + §6.8 第五步
- TDD: RED(模块缺失)→ GREEN(聚焦 10 passed)→ 全量 231 passed / 100.00%(1191 stmts/298 br)
2026-08-12 22:35:56 +08:00
lhl 6a54580ca4 feat(orchestrator): DataGate 机制化 + 任务级持久化(T14/T16 架构审查整改)
- T14 (OV5): 新建 src/genesis/orchestrator/datagate.py
  - DataGate.load(source, selector) 机制化:子集加载 + 规模保护(超 500 行
    无 selector 拒绝全量,1000 行 Excel 防上下文爆炸)+ token 预算(8000,
    复用 CJK 保守估算)+ 未知表容错
  - agent-runtime §4.2 原则→机制说明
- T16 (OV7): 新建 src/genesis/orchestrator/task_queue.py
  - TaskQueue ABC + PersistentTaskQueue(SQLite 落盘)
  - enqueue/poll/update_status/get/cancel/recover/close
  - 幂等去重(§5.3 缓存结果)+ recover 将 running→failed、pending 保留
  - api-design §5.2/5.3、agent-runtime §3.5/3.6、design §8.4.1 同步
- 新增 test_datagate.py(8 用例)+ test_task_queue.py(11 用例)
- TDD: RED(模块缺失)→ GREEN(聚焦 16 passed)→ 全量 218 passed / 100.00%(1140 stmts/278 br)
2026-08-12 15:43:10 +08:00
lhl 3decdfc31c feat(rag): v1 rerank 精排 + bge-m3 多语言切换(T6/T11 架构审查整改)
- T6 (Issue6): RerankConfig(enabled/model=BAAI/bge-reranker-v2-m3/device)
  - rag-layer-design §6.3 Rerank 精排:窗口=RRF top-10、候选≤top_k 跳过、
    故障降级 RRF 原序;原 §6.3-6.6 顺延 6.4-6.7
  - config-design §5 新增 rerank 段;design §5.5 检索策略加 rerank
- T11 (OV2): EmbeddingConfig.model 默认 bge-small-zh-v1.5 → BAAI/bge-m3(日文语料)
  - rag-layer-design 选型表/依赖表/manifest/流程图同步 + 新增 §2.3 日文样本验证
  - design.md / implementation-plan 4.3 / config-design embedding 同步
- 新增 test_rag_design_consistency.py 一致性门禁(6 用例防文档漂移)
- TDD: RED(默认模型仍旧 + rerank 字段不存在)→ GREEN → 全量 198 passed / 100.00%(996 stmts/252 br)
2026-08-12 11:32:28 +08:00
lhl c170ec2edd feat(config): 删死配置 + 同步文档(T5 架构审查整改)
- Issue5: 删除 QdrantStoreConfig / VectorStoreConfig.qdrant / task_queue.redis_url
- OV1: 同步 6 处文档(api-design §1/§4.3/§5/§6、rag-layer §9、agent-runtime §3、
  design §5.5/§8.4.1、config-design、web-ui §4.1)+ tests/fixtures/rag.yaml
  - TaskQueue 标注 v1 仅 InMemory,Redis/Valkey 为 v2 预留(Scope 缩减裁定)
  - Storage Adapter 仅 ChromaAdapter,工厂移除 qdrant 分支
  - 历史评审记录保留原样不改写
- 新增 3 用例,同步 2 个 qdrant 依赖用例;全量 189 passed / 100.00%(991 stmts/252 br)
2026-08-12 10:54:56 +08:00
lhl 8febc50eb8 feat(inference): CJK 保守 token 估算(T9 架构审查整改)
- Issue11: approximate_token_count 重写
  - 新增 _is_cjk_char(CJK 统一表意/扩展A/假名/韩文/兼容/全角六大 Unicode 范围)
  - CJK 字符按 1.5 token/字符(旧 4 字符 1 token 严重低估,裁剪失效致 API 超限)
  - 其余字符仍 4 字符 1 token;最少 1 token
- 同步 config-design.md token_estimation 注释
- 新增 4 用例,全量 186 passed / 100.00%(995 stmts/252 br)
2026-08-12 09:54:20 +08:00
lhl 8239a37a99 feat(inference): LLM 客户端全异步化(T8 架构审查整改)
- Issue9: client.py 由同步 httpx.Client 全异步化
  - LLMClient Protocol / HttpLLMClient.chat → async;httpx.AsyncClient + asyncio.sleep 退避
  - __enter__/__exit__ → __aenter__/__aexit__(async with 生命周期闭环)
- engine.py chat/chat_structured/_call 全部 async + await
- FakeLLMClient.chat → async;测试用 anyio pytest 插件转换(engine 32 + client 10 用例)
- 同步 inference-engine spec 与 milestone3 review 的 httpx 描述
- 全量 182 passed / 100.00%(987 stmts/252 br)
2026-08-12 09:50:37 +08:00
lhl 1f931228e7 feat(inference): 引擎层统一注入防护(T4 架构审查整改)
- Issue4: engine.py 新增恒定系统指令 DEFAULT_SYSTEM_INSTRUCTION + 用户数据边界包裹
  - _call 统一构造 [system 恒定指令, user 边界包裹数据],chat/chat_structured 全生效
  - __init__ 支持 system_instruction 注入覆盖;声明「用户数据段指令不作为要求执行」
- FakeLLMClient 记录结构对齐真实 payload({role, content}),同步 2 处既有断言
- 同步 agent-runtime-design.md §8.1 标注已实现
- 新增 5 用例,全量 182 passed / 100.00%(987 stmts/252 br)
2026-08-12 09:44:33 +08:00
lhl 2f4397a8d6 feat(orchestrator): 会话状态机实现 + cancelled/resume(T3 架构审查整改)
- Issue3: 新建 src/genesis/state_machine.py(9 状态白名单转移)
  - cancel 记录 cancelled_from 进 cancelled 终态,resume 回中断点
  - 仅执行中状态可取消(awaiting_*/done 不可),非法转移抛 StateTransitionError
- 同步 agent-runtime-design.md §3.2(状态图/规则表 9 状态 + cancelled 行)
- 新增 10 用例(含覆盖补齐 2 项),全量 177 passed / 100.00%(981 stmts/252 br)
2026-08-12 09:39:34 +08:00
lhl cf9600e437 feat(inference): chat_structured 解析重试走降级链(T2 架构审查整改)
- Issue2: 解析重试按 primary→fallback 顺序尝试,不再硬编码首选模型
- Issue10: 提取 names 局部变量,删除 4 处重复 _model_names(None)[0] 调用
- LLMError 不再 early return,继续降级链;全部失败按 last_was_parse_error 区分 parse_error/failed
- 新增 2 用例(解析/网络失败降级 fallback),同步更新 7 个既有用例至降级链语义
- 全量 165 passed / 100.00% 覆盖(941 stmts/242 br),fail_under=99 达标
2026-08-12 09:36:10 +08:00
lhl 25fc472d9b feat(inference): chat_structured 接入 jsonschema 真校验(T1 架构审查整改)
- pyproject.toml 新增 jsonschema>=4.23 依赖
- engine.py: json.loads 后 jsonschema.validate,校验失败按解析失败重试(带错误信息)
- 新增 3 用例:违规重试成功/耗尽 parse_error 含详情/合法一次通过
- 全量 163 passed / 100.00% 覆盖(936 stmts/238 br),fail_under=99 达标
2026-08-12 09:32:02 +08:00
lhl 0a79b07356 docs: Phase3 Word 解析里程碑评审报告 2026-08-11 08:42:54 +08:00
lhl 31167c9314 chore: Phase3 Word 解析收尾(尾随换行/import 排序/契约注释) 2026-08-10 23:39:53 +08:00
lhl 16921ecbb4 test: 真实样本 Word 解析集成测试(模板/规则/说明书画属write) 2026-08-10 15:17:44 +08:00
lhl 7f29cc9cf3 feat: SourceParser 门面全量输入聚合 StructuredSource 2026-08-10 14:57:04 +08:00
lhl 9ab11da87d feat: RuleDocParser 规则文档 Markdown 化与分类 2026-08-10 10:14:15 +08:00
lhl 00fcbf18c3 feat: WordTemplateParser 章构成/占位符/样式名提取 2026-08-10 09:38:37 +08:00
lhl e8771aa797 test: docx 测试基建(新建/落盘/规则文档快捷构造) 2026-08-10 09:21:55 +08:00
lhl 7bc9175ebe docs: Phase3 计划修订(Task1 前缀 test:、_heading_level 提取共享 helper、兜底分支覆盖) 2026-08-10 09:09:40 +08:00
lhl 129c75bb06 docs: Phase3 Word 解析实施计划(5任务TDD) 2026-08-10 08:50:00 +08:00
lhl af3e756ba0 docs: Phase3 spec 工程审阅修正(做成说明书 ref→write、列表双通道、显式角色参数) 2026-08-10 00:45:35 +08:00
lhl 17cf385a6f docs: Phase3 Word 解析优先设计(模板/规则/聚合三模块) 2026-08-09 23:05:28 +08:00
lhl 464423b7ef chore: 一致性门禁收尾(plan 计数、尾换行、消息与注释润色) 2026-08-09 17:11:38 +08:00
lhl f6172903b8 docs: 修正错误码一致性 spec/plan 计数笔误(LLM 错误码实为 4 条非 5) 2026-08-09 16:56:49 +08:00
lhl bb38a47445 test: api §7 与异常树错误码一致性门禁测试(防文档漂移) 2026-08-09 16:48:12 +08:00
lhl bfcfbaef92 docs: 错误码一致性测试实施计划(TDD 单任务) 2026-08-09 15:23:32 +08:00
lhl 49f6ca80d8 docs: 错误码一致性测试设计(api §7 ↔ 异常树机器验证) 2026-08-09 15:19:55 +08:00
lhl f3a30256d5 chore: 清理 error_code 收尾(删冗余死代码行、补尾换行) 2026-08-09 13:58:53 +08:00
lhl 857bc789ed docs: api §7 补 LLM_NETWORK_ERROR 行(对齐异常树错误码) 2026-08-09 13:51:21 +08:00
lhl aa9c63df73 feat: engine 透传 error_code(与 error 同源取最后一次异常) 2026-08-09 13:48:00 +08:00
lhl 3b98412492 feat: 结果对象 error_code 字段(默认 None 向后兼容) 2026-08-09 13:44:19 +08:00
lhl f61e7dadb7 feat: 异常树 error_code 类属性(对齐 api-design §7 错误码) 2026-08-09 13:38:59 +08:00
lhl a0a40afd45 docs: LLM 错误码对齐实施计划(4 任务 TDD 分解) 2026-08-09 13:28:45 +08:00
lhl 1a3c829d4c docs: Web UI 设计评审修订(v1.0→v1.1,7 项发现全修 + api §2.2 write_instruction) 2026-08-09 13:28:38 +08:00
lhl 69f04ecda2 docs: LLM 错误码对齐设计(error_code 字段 + api §7 对齐) 2026-08-09 10:00:24 +08:00
lhl cb2deda08a test: 清理 backlog——chat_structured 超限检测 + client 上下文管理器 2026-08-09 09:15:36 +08:00
lhl a5eaec4de8 docs: 里程碑3.1 回顾归档(首次 retro) 2026-08-09 09:08:26 +08:00
lhl 8ec63d1c48 docs: 里程碑3.1 InferenceEngine 设计规格与实施计划 2026-08-09 08:36:47 +08:00