2 Commits
Author SHA1 Message Date
lhl 8febc50eb8 feat(inference): CJK 保守 token 估算(T9 架构审查整改)
- Issue11: approximate_token_count 重写
  - 新增 _is_cjk_char(CJK 统一表意/扩展A/假名/韩文/兼容/全角六大 Unicode 范围)
  - CJK 字符按 1.5 token/字符(旧 4 字符 1 token 严重低估,裁剪失效致 API 超限)
  - 其余字符仍 4 字符 1 token;最少 1 token
- 同步 config-design.md token_estimation 注释
- 新增 4 用例,全量 186 passed / 100.00%(995 stmts/252 br)
2026-08-12 09:54:20 +08:00
lhl 71d38b90bf feat: Token 估算(approximate 内置 / tiktoken 可选回落) 2026-08-09 05:58:16 +08:00