范智鹏
458647d82e
- 新增 measurement/ 测量协议入口（baseline.md + timing-log.md） - 新增 docs/demo-storyboard.md 演示视频分镜 - README 新增背景与痛点、挂接测量协议/设计文档/分镜链接
97 lines
4.0 KiB
Markdown
97 lines
4.0 KiB
Markdown
# 计时日志（Timing Log）
|
||
|
||
> 实验：A3 · 插件静态分析计时 + 人工审查计时对照
|
||
> 定位：评审测量协议入口——计时日志与可重演命令。原始 JSON 不在此复制，见文末「原始数据」。
|
||
|
||
## 一、测量环境
|
||
|
||
| 项 | 值 |
|
||
|---|---|
|
||
| 测量日期 | 2026-08-27 22:11（北京时间，UTC+8） |
|
||
| 操作系统 | Windows 11 Pro |
|
||
| Node.js | v22.16.0 |
|
||
| 测量工具 | `tests/measure/measure-plugin-samples.mjs`（工具标识 code-reviewer / 实验 A3） |
|
||
| 工具链 | ESLint / Stylelint 引擎直跑（与 `src/rules/builtin-rules.ts` 内置配置逐字一致）；PMD 经 `PmdRunner` + `pmd-java-ruleset.xml`（与 `src/adapters/pmd.ts` 一致）；SQLFluff 内置配置（方言 oracle，与 `src/adapters/sqlfluff.ts` 一致） |
|
||
| 样例 | `data/efficiency-samples/`（23 文件：JS×8 / CSS×5 / Java×6 / SQL×4） |
|
||
|
||
## 二、插件侧计时（分语言汇总）
|
||
|
||
| 语言 | 文件数 | 诊断数 | 耗时 | 备注 |
|
||
|---|---|---|---|---|
|
||
| JS | 8 | 120 | 95.1ms | 纯静态引擎 |
|
||
| CSS | 5 | 55 | 129.3ms | 纯静态引擎 |
|
||
| Java | 6 | 84 | 6610.7ms | 含 JVM 启动 |
|
||
| SQL | 4 | 24 | 1741.7ms | 含子进程启动 |
|
||
| **合计** | **23** | **283** | **8576.8ms** | — |
|
||
|
||
## 三、插件侧逐文件计时
|
||
|
||
| # | 文件 | 耗时 | 诊断数 |
|
||
|---|---|---|---|
|
||
| 1 | sample-01.js | 76.4ms | 15 |
|
||
| 2 | sample-02.js | 4.0ms | 15 |
|
||
| 3 | sample-03.js | 3.1ms | 15 |
|
||
| 4 | sample-04.js | 3.3ms | 15 |
|
||
| 5 | sample-05.js | 2.6ms | 15 |
|
||
| 6 | sample-06.js | 1.8ms | 15 |
|
||
| 7 | sample-07.js | 1.8ms | 15 |
|
||
| 8 | sample-08.js | 2.1ms | 15 |
|
||
| 9 | sample-01.css | 117.7ms | 11 |
|
||
| 10 | sample-02.css | 3.9ms | 11 |
|
||
| 11 | sample-03.css | 2.9ms | 11 |
|
||
| 12 | sample-04.css | 2.3ms | 11 |
|
||
| 13 | sample-05.css | 2.6ms | 11 |
|
||
| 14 | InventoryService.java | 1183.1ms | 14 |
|
||
| 15 | NotifyService.java | 1088.2ms | 14 |
|
||
| 16 | OrderService.java | 1069.6ms | 14 |
|
||
| 17 | PaymentService.java | 1077.4ms | 14 |
|
||
| 18 | ReportService.java | 1089.7ms | 14 |
|
||
| 19 | UserService.java | 1102.8ms | 14 |
|
||
| 20 | sample-01.sql | 506.8ms | 9 |
|
||
| 21 | sample-02.sql | 421.0ms | 3 |
|
||
| 22 | sample-03.sql | 402.5ms | 9 |
|
||
| 23 | sample-04.sql | 411.4ms | 3 |
|
||
|
||
> 首文件耗时偏高（JS 76.4ms / CSS 117.7ms）为引擎冷启动；Java 每文件约 1.1s 为逐次拉起 JVM 的固定开销；SQL 每文件约 0.4s 为子进程启动开销。原始字段见 `tests/measure/results/a3-plugin-results.json`。
|
||
|
||
## 四、人工侧计时（3 名审查人）
|
||
|
||
| 审查人 | 等级 | JS 耗时 | CSS 耗时 | Java 耗时 | SQL 耗时 | 总耗时 |
|
||
|---|---|---|---|---|---|---|
|
||
| AI-SIM-001 | 高级 | 597s | 322s | 465s | 334s | 28.6 min |
|
||
| AI-SIM-003 | 中级 | 773s | 416s | 596s | 395s | 36.3 min |
|
||
| AI-SIM-002 | 初级 | 1065s | 575s | 805s | 515s | 49.3 min |
|
||
| **均值** | — | 811.7s | 437.7s | 622.0s | 414.7s | **38.1 min** |
|
||
|
||
> 问题数明细与人工侧完整数据见 `measurement/baseline.md`。
|
||
|
||
## 五、汇总提速对比
|
||
|
||
| 语言 | 人工耗时（均值） | 插件耗时 | 提速倍数 |
|
||
|---|---|---|---|
|
||
| JS | 811.7s | 95.1ms | 约 8500× |
|
||
| CSS | 437.7s | 129.3ms | 约 3400× |
|
||
| Java | 622.0s | 6610.7ms | 约 94× |
|
||
| SQL | 414.7s | 1741.7ms | 约 238× |
|
||
| **合计** | **2286.0s** | **8576.8ms** | **约 266×** |
|
||
|
||
## 六、可重演命令
|
||
|
||
```bash
|
||
# 插件侧全量计时（23 文件，产出 tests/measure/results/a3-plugin-results.json）
|
||
node tests/measure/measure-plugin-samples.mjs
|
||
|
||
# 聚合人工基线与插件侧对比（产出 tests/measure/results/a3-comparison.json）
|
||
node tests/measure/compare-a3.mjs
|
||
|
||
# 人工侧复刻：浏览器打开工具，按 measurement/baseline.md §一 流程执行
|
||
# （工具：data/manual-review-tool.html）
|
||
```
|
||
|
||
## 七、原始数据
|
||
|
||
- 插件侧明细（逐文件耗时/诊断数/规则 ID）：`tests/measure/results/a3-plugin-results.json`
|
||
- 人工原始记录（3 份）：`tests/measure/results/manual-review-AI-SIM-001.json` / `-002.json` / `-003.json`
|
||
- 聚合对比：`tests/measure/results/a3-comparison.json`
|
||
- 完整对比报告：`tests/measure/performance-comparison.md`
|