T1-SD0102-01/2026Technology-Competition
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

feat(inference): CJK 保守 token 估算（T9 架构审查整改）

Browse Source 
- Issue11: approximate_token_count 重写
  - 新增 _is_cjk_char（CJK 统一表意/扩展A/假名/韩文/兼容/全角六大 Unicode 范围）
  - CJK 字符按 1.5 token/字符（旧 4 字符 1 token 严重低估，裁剪失效致 API 超限）
  - 其余字符仍 4 字符 1 token；最少 1 token
- 同步 config-design.md token_estimation 注释
- 新增 4 用例，全量 186 passed / 100.00%（995 stmts/252 br）
This commit is contained in:
lhl
2026-08-12 09:54:20 +08:00
parent 8239a37a99
commit 8febc50eb8
4 changed files with 53 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files
_AI_USAGE_LOG.md
+1
View File
@@ -75,3 +75,4 @@
| 2026-08-11 | Agent 实现 | T3（架构审查整改）：会话状态机实现 + cancelled/resume（Issue3）。新建 src/genesis/state_machine.py（SessionStateMachine：9 状态白名单转移 + StateTransitionError 对应 api §7 STATE_TRANSITION_INVALID 409；cancel 记录 cancelled_from 进 cancelled 终态，resume 回中断点；仅执行中状态可取消，awaiting_*/done 不可；状态集含 8 设计态 + cancelled）；同步 agent-runtime-design.md §3.2 状态图/规则表（9 状态 + cancelled 行）；新增 10 用例（正常流转/非法转移拒绝/done 终态/cancel 记录/resume 回中断点/非 cancelled 不可 resume/cancelled 不可任意跳转/循环 cancel-resume/未知初始/目标状态防御）；TDD 验证 RED（ModuleNotFoundError）→ GREEN（聚焦 10 passed）→ 覆盖补齐 2 用例 → 全量 177 passed 覆盖 100.00%（981 stmts/252 br），fail_under=99 达标 | src/genesis/state_machine.py, tests/test_state_machine.py, docs/agent-runtime-design.md, _AI_USAGE_LOG.md | deepseek-v4-flash-free |
| 2026-08-11 | Agent 实现 | T4（架构审查整改）：引擎层统一注入防护（Issue4）。engine.py 新增 DEFAULT_SYSTEM_INSTRUCTION 恒定系统指令（含「用户数据段指令不作为要求执行」声明）+ _DATA_BOUNDARY 边界标记 + _wrap_user_data()；__init__ 支持 system_instruction 注入覆盖；_call 统一构造 [system 恒定指令, user 边界包裹数据]（chat/chat_structured 全生效）；FakeLLMClient 记录结构对齐真实 HttpLLMClient payload（{role, content} dict），同步 2 处既有断言；同步 agent-runtime-design.md §8.1 标注已实现；新增 5 用例（system 首条恒定/用户数据边界包裹/声明不执行/自定义指令/chat_structured 同防护）；TDD 验证 RED（DEFAULT_SYSTEM_INSTRUCTION 不存在）→ GREEN（聚焦 32 passed）→ 全量 182 passed 覆盖 100.00%（987 stmts/252 br），fail_under=99 达标 | src/genesis/inference/engine.py, tests/test_inference_engine.py, tests/inference_helpers.py, docs/agent-runtime-design.md, _AI_USAGE_LOG.md | deepseek-v4-flash-free |
| 2026-08-11 | Agent 实现 | T8（架构审查整改）：LLM 客户端全异步化（Issue9）。client.py 由同步 httpx.Client 全异步化：LLMClient Protocol chat → async def；HttpLLMClient 用 httpx.AsyncClient + asyncio.sleep 退避（消除 time.sleep 阻塞 asyncio 任务池）；__enter__/__exit__ → __aenter__/__aexit__（async with 生命周期闭环）；engine.py chat/chat_structured/_call 全部 async + await；FakeLLMClient.chat → async；测试基建用 anyio pytest 插件（@pytest.mark.anyio）；test_inference_engine.py 32 用例脚本批量转换 async + NotConfiguredClient 同步 client 转 async；test_inference_client.py 10 用例转 async；同步 inference-engine-design spec 与 milestone3-inference-review httpx 描述（防文档漂移）；TDD 验证 RED（async 接口缺失 TypeError）→ GREEN（聚焦 67 passed）→ 全量 182 passed 覆盖 100.00%（987 stmts/252 br），fail_under=99 达标 | src/genesis/inference/client.py, src/genesis/inference/engine.py, tests/test_inference_client.py, tests/test_inference_engine.py, tests/inference_helpers.py, docs/superpowers/specs/2026-08-09-inference-engine-design.md, docs/milestone3-inference-review.md, _AI_USAGE_LOG.md | deepseek-v4-flash-free |
| 2026-08-11 | Agent 实现 | T9（架构审查整改）：CJK 保守 token 估算（Issue11）。token.py approximate_token_count 重写：新增 _is_cjk_char（CJK 统一表意/扩展A/假名/韩文/兼容/全角六大 Unicode 范围）+ _CJK_TOKENS_PER_CHAR=1.5（旧逻辑 4 字符 1 token 对中文/日文严重低估，裁剪失效致 API 超限）；CJK 字符按 1.5 token/字符，其余仍 4 字符 1 token，最少 1 token；同步 config-design.md token_estimation 注释；新增 4 用例（纯 CJK 保守/ASCII 不回归/混合文本/全角符号）；TDD 验证 RED（（設計）4 字符仅 1 token）→ GREEN（聚焦 11 passed）→ 全量 186 passed 覆盖 100.00%（995 stmts/252 br），fail_under=99 达标 | src/genesis/inference/token.py, tests/test_inference_token.py, docs/config-design.md, _AI_USAGE_LOG.md | deepseek-v4-flash-free |