zeekrAI/document_analyzer
1
0
Fork 0
Code Issues 2 Pull Requests Actions Packages Projects Releases Wiki Activity

[test] 再运行一次完整的e2e测试 #18

New Issue
Open
opened 2026-05-31 18:51:02 +08:00 by pzhang_zywl · 38 comments
pzhang_zywl commented 2026-05-31 18:51:02 +08:00
Owner
Copy Link
Copy Source

[test] 再运行一次完整的e2e测试

[test] 再运行一次完整的e2e测试
pzhang_zywl commented 2026-05-31 18:52:27 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 已领取。跑完整 e2e 测试...

QE-Agent 已领取。跑完整 e2e 测试...
pzhang_zywl commented 2026-05-31 18:54:01 +08:00
Author
Owner
Copy Link
Copy Source

e2e 重跑完成。结果与上次一致：IR rules=[]。新增发现：step1 LLM ensemble 返回空 function_units。已更新 dev issue #15 跟踪。暂无 QE 侧可修复项。

e2e 重跑完成。结果与上次一致：IR rules=[]。新增发现：step1 LLM ensemble 返回空 function_units。已更新 dev issue #15 跟踪。暂无 QE 侧可修复项。
pzhang_zywl commented 2026-05-31 19:01:35 +08:00
Author
Owner
Copy Link
Copy Source

阻塞：Dev issue #15 (IR rules=[]) 尚未修复。e2e 重跑确认问题仍然存在。等待 #15 修复后将自动重跑验收。

阻塞：Dev issue #15 (IR rules=[]) 尚未修复。e2e 重跑确认问题仍然存在。等待 #15 修复后将自动重跑验收。
pzhang_zywl commented 2026-05-31 22:07:52 +08:00
Author
Owner
Copy Link
Copy Source

e2e 重跑结果

Layer Result Change
A (Schema) PASS #22 fixed
B (Coverage) FAIL 36.1% #21 追踪中
C (QE Audit) REJECT #21 追踪中

结论: trigger.operator 修复成功，覆盖率仍需改进。阻塞于 #21。

[qe-agent: qa-01]

## e2e 重跑结果 | Layer | Result | Change | |-------|--------|--------| | A (Schema) | **PASS** | #22 fixed | | B (Coverage) | FAIL 36.1% | #21 追踪中 | | C (QE Audit) | REJECT | #21 追踪中 | **结论**: trigger.operator 修复成功，覆盖率仍需改进。阻塞于 #21。 --- [qe-agent: qa-01]
pzhang_zywl commented 2026-05-31 22:38:31 +08:00
Author
Owner
Copy Link
Copy Source

最新 e2e

A: PASS | B: 34.7% | C: 80% reject。改善中但未达阈值。阻塞于 #21。

[qe-agent: qa-01]

## 最新 e2e A: PASS | B: 34.7% | C: 80% reject。改善中但未达阈值。阻塞于 #21。 --- [qe-agent: qa-01]
pzhang_zywl commented 2026-06-01 13:13:09 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 已领取，正在运行完整 e2e 验收测试...

[qe-agent: qa-01]

QE-Agent 已领取，正在运行完整 e2e 验收测试... --- [qe-agent: qa-01]
pzhang_zywl commented 2026-06-01 13:16:08 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent e2e 测试完成

测试结果

Layer Verdict 详情
A (Schema) PASS IR schema 校验通过
B (Coverage) FAIL 51.4% < 70% 阈值
C (QE Audit) SKIPPED 未运行

Layer B 详情

  • Sections: 4/4 (100.0%) ✅
  • Table rows: 13/24 (54.2%) ❌
  • Diagrams: 0/0 (N/A)

结论

e2e 测试已执行。Coverage 不达标是已知问题，已在 #21 追踪。

相比 #21 基线：整体 36.1% → 51.4%（提升），Section 50% → 100%。Table 覆盖率仍低于阈值。

[qe-agent: qa-01]

## QE-Agent e2e 测试完成 ### 测试结果 | Layer | Verdict | 详情 | |-------|---------|------| | A (Schema) | PASS | IR schema 校验通过 | | B (Coverage) | FAIL | **51.4% < 70%** 阈值 | | C (QE Audit) | SKIPPED | 未运行 | ### Layer B 详情 - Sections: 4/4 (100.0%) ✅ - Table rows: **13/24 (54.2%)** ❌ - Diagrams: 0/0 (N/A) ### 结论 e2e 测试已执行。Coverage 不达标是已知问题，已在 **#21** 追踪。 > 相比 #21 基线：整体 36.1% → 51.4%（提升），Section 50% → 100%。Table 覆盖率仍低于阈值。 --- [qe-agent: qa-01]
pzhang_zywl added the blocked label 2026-06-01 13:21:15 +08:00
pzhang_zywl commented 2026-06-01 13:21:39 +08:00
Author
Owner
Copy Link
Copy Source

Blocked by #21

本 issue 的 e2e 测试失败根因是 IR 覆盖率不达标（Table 54.2% < 70%），该问题在 #21 追踪。

  • 阻塞条件：#21 修复后覆盖率 ≥ 70%
  • 解除后动作：重跑 e2e，全部通过后关闭本 issue

[qe-agent: qa-01]

## Blocked by #21 本 issue 的 e2e 测试失败根因是 IR 覆盖率不达标（Table 54.2% < 70%），该问题在 **#21** 追踪。 - 阻塞条件：#21 修复后覆盖率 ≥ 70% - 解除后动作：重跑 e2e，全部通过后关闭本 issue --- [qe-agent: qa-01]
pzhang_zywl removed the blocked label 2026-06-02 14:50:50 +08:00
pzhang_zywl commented 2026-06-02 14:50:50 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 15:13:06 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 已领取。正在执行完整 e2e 验收测试...

[qe-agent: qa-0602-1358]

QE-Agent 已领取。正在执行完整 e2e 验收测试... --- [qe-agent: qa-0602-1358]
pzhang_zywl added the test-code label 2026-06-02 15:13:15 +08:00
pzhang_zywl commented 2026-06-02 15:37:24 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent e2e 测试结果

Pipeline 阶段

Stage Status
doc_parser OK
step1 (Semantic Index) OK
step2 (IR Extraction) OK
step2.5 (Branch Coverage) OK (14/14, 100%)
step3 (Merge & Audit) OK

验收测试

Layer Verdict 详情
A (Schema) FAIL 77/78 passed — rules[21].sources[0] 缺少 section 字段
B (Coverage) PASS 92.6% >= 70% ✅
C (QE Audit) REJECT 80% inadequate (1/5 adequate)

结论

  • 阻塞: 需要创建 dev issue 修复 Layer A 和 Layer C 失败
  • 当前 Issue 保持 open

[qe-agent: qa-0602-1358]

## QE-Agent e2e 测试结果 ### Pipeline 阶段 | Stage | Status | |-------|--------| | doc_parser | OK | | step1 (Semantic Index) | OK | | step2 (IR Extraction) | OK | | step2.5 (Branch Coverage) | OK (14/14, 100%) | | step3 (Merge & Audit) | OK | ### 验收测试 | Layer | Verdict | 详情 | |-------|---------|------| | A (Schema) | **FAIL** | 77/78 passed — rules[21].sources[0] 缺少 section 字段 | | B (Coverage) | **PASS** | 92.6% >= 70% ✅ | | C (QE Audit) | **REJECT** | 80% inadequate (1/5 adequate) | ### 结论 - 阻塞: 需要创建 dev issue 修复 Layer A 和 Layer C 失败 - 当前 Issue 保持 open --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 15:37:36 +08:00
pzhang_zywl commented 2026-06-02 15:37:36 +08:00
Author
Owner
Copy Link
Copy Source

阻塞: #53 (Layer A schema), #54 (Layer C QE Audit)

待 Dev-Agent 修复后重新 e2e。

[qe-agent: qa-0602-1358]

阻塞: #53 (Layer A schema), #54 (Layer C QE Audit) 待 Dev-Agent 修复后重新 e2e。 --- [qe-agent: qa-0602-1358]
pzhang_zywl removed the blocked label 2026-06-02 15:51:47 +08:00
pzhang_zywl commented 2026-06-02 15:51:48 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 15:52:04 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除。#53、#54 已关闭。重新执行 e2e 验收测试...

[qe-agent: qa-0602-1358]

阻塞已解除。#53、#54 已关闭。重新执行 e2e 验收测试... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:12:42 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 重新 e2e（#53、#54 已关闭后）

结果（恶化）

Layer 上次 本次
A (Schema) 失败 (section 缺失) 失败 (function_unit_description 非法类型)
B (Coverage) 92.6% PASS 63.0% FAIL
C (QE Audit) 80% 不合格 100% 不合格

Layer B 从 92.6% 倒退到 63% — 覆盖率回归。

阻塞: 新 dev issue

[qe-agent: qa-0602-1358]

## QE-Agent 重新 e2e（#53、#54 已关闭后） ### 结果（恶化） | Layer | 上次 | 本次 | |-------|------|------| | A (Schema) | 失败 (section 缺失) | **失败** (function_unit_description 非法类型) | | B (Coverage) | **92.6% PASS** | **63.0% FAIL** | | C (QE Audit) | 80% 不合格 | **100% 不合格** | Layer B 从 92.6% 倒退到 63% — 覆盖率回归。 阻塞: 新 dev issue --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:13:20 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:16:37 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:17:16 +08:00
Author
Owner
Copy Link
Copy Source

阻塞: #57 (IR 覆盖率回归，63% < 70%)

[qe-agent: qa-0602-1358]

阻塞: #57 (IR 覆盖率回归，63% < 70%) --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 16:17:28 +08:00
pzhang_zywl removed the blocked label 2026-06-02 16:21:34 +08:00
pzhang_zywl commented 2026-06-02 16:21:34 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:21:53 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除。#53、#54、#57 均已修复合并。重新执行 e2e...

[qe-agent: qa-0602-1358]

阻塞已解除。#53、#54、#57 均已修复合并。重新执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 16:38:24 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 重新 e2e（#53、#54、#57 合并后）

结果：Layer A FAIL, Layer B 63%, Layer C REJECT — #57 修复不完整。

阻塞: #57 已重开

[qe-agent: qa-0602-1358]

## QE-Agent 重新 e2e（#53、#54、#57 合并后） 结果：Layer A FAIL, Layer B 63%, Layer C REJECT — #57 修复不完整。 阻塞: #57 已重开 --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 16:38:33 +08:00
pzhang_zywl removed the blocked label 2026-06-02 16:41:51 +08:00
pzhang_zywl commented 2026-06-02 16:41:51 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 16:48:48 +08:00
pzhang_zywl removed the blocked label 2026-06-02 17:01:48 +08:00
pzhang_zywl commented 2026-06-02 17:01:48 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 17:02:01 +08:00
Author
Owner
Copy Link
Copy Source

Dev-Agent 已重新修复 #57。执行 e2e 验收...

[qe-agent: qa-0602-1358]

Dev-Agent 已重新修复 #57。执行 e2e 验收... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 17:16:14 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent e2e (#57 第二次修复后)

Layer Result
A (Schema) FAIL — rules[56] 空 sources
B (Coverage) PASS 90.7% ✅
C (QE Audit) REJECT 100%

阻塞: 新 dev issue

[qe-agent: qa-0602-1358]

## QE-Agent e2e (#57 第二次修复后) | Layer | Result | |-------|--------| | A (Schema) | FAIL — rules[56] 空 sources | | B (Coverage) | **PASS 90.7%** ✅ | | C (QE Audit) | REJECT 100% | 阻塞: 新 dev issue --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 17:16:25 +08:00
pzhang_zywl removed the blocked label 2026-06-02 17:21:48 +08:00
pzhang_zywl commented 2026-06-02 17:21:49 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 17:21:55 +08:00
Author
Owner
Copy Link
Copy Source

Dev-Agent 已修复 #64。执行 e2e...

[qe-agent: qa-0602-1358]

Dev-Agent 已修复 #64。执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 17:39:30 +08:00
pzhang_zywl removed the blocked label 2026-06-02 17:41:48 +08:00
pzhang_zywl commented 2026-06-02 17:41:48 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 17:41:53 +08:00
Author
Owner
Copy Link
Copy Source

Dev-Agent 已修复 #69。执行 e2e...

[qe-agent: qa-0602-1358]

Dev-Agent 已修复 #69。执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 17:56:53 +08:00
Author
Owner
Copy Link
Copy Source

e2e (#69 修复后)

Layer Result
A FAIL — 3 null row errors
B PASS 92.6% ✅
C REJECT 100%

阻塞: #73

[qe-agent: qa-0602-1358]

## e2e (#69 修复后) | Layer | Result | |-------|--------| | A | FAIL — 3 null row errors | | B | **PASS 92.6%** ✅ | | C | REJECT 100% | 阻塞: #73 --- [qe-agent: qa-0602-1358]
pzhang_zywl added the blocked label 2026-06-02 17:56:53 +08:00
pzhang_zywl removed the blocked label 2026-06-02 18:11:48 +08:00
pzhang_zywl commented 2026-06-02 18:11:48 +08:00
Author
Owner
Copy Link
Copy Source

阻塞已解除：所有阻塞 Issue 均已关闭。

[qe-agent: qa-0602-1358]

阻塞已解除：所有阻塞 Issue 均已关闭。 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 18:11:54 +08:00
Author
Owner
Copy Link
Copy Source

#73 已修复。执行 e2e...

[qe-agent: qa-0602-1358]

#73 已修复。执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 18:30:34 +08:00
Author
Owner
Copy Link
Copy Source

e2e (#73 修复后)

Layer Result
A (Schema) PASS ✅✅
B (Coverage) PASS 90.7% ✅
C (QE Audit) REJECT (1/5 → 需继续改善)

Layer A+B 双通过！仅剩 C。阻塞: #75

[qe-agent: qa-0602-1358]

## e2e (#73 修复后) | Layer | Result | |-------|--------| | A (Schema) | **PASS** ✅✅ | | B (Coverage) | **PASS 90.7%** ✅ | | C (QE Audit) | REJECT (1/5 → 需继续改善) | Layer A+B 双通过！仅剩 C。阻塞: #75 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 18:41:53 +08:00
Author
Owner
Copy Link
Copy Source

Dev-Agent 已修复 #75。执行 e2e...

[qe-agent: qa-0602-1358]

Dev-Agent 已修复 #75。执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 18:52:45 +08:00
Author
Owner
Copy Link
Copy Source

e2e (#75 修复后)

Layer Result
A PASS ✅
B PASS 96.3% 🔺
C REJECT (still 1/5)

阻塞: #75 已重开

[qe-agent: qa-0602-1358]

## e2e (#75 修复后) | Layer | Result | |-------|--------| | A | **PASS** ✅ | | B | **PASS 96.3%** 🔺 | | C | REJECT (still 1/5) | 阻塞: #75 已重开 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 19:01:54 +08:00
Author
Owner
Copy Link
Copy Source

Dev-Agent 再次修复 #75。执行 e2e...

[qe-agent: qa-0602-1358]

Dev-Agent 再次修复 #75。执行 e2e... --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 19:14:49 +08:00
Author
Owner
Copy Link
Copy Source

e2e (#75 二次修复)

Layer Result
A PASS ✅
B 92.6% ✅
C 0/5 (回归)

阻塞: #75 第二次重开

[qe-agent: qa-0602-1358]

## e2e (#75 二次修复) | Layer | Result | |-------|--------| | A | PASS ✅ | | B | 92.6% ✅ | | C | **0/5** (回归) | 阻塞: #75 第二次重开 --- [qe-agent: qa-0602-1358]
pzhang_zywl commented 2026-06-02 19:53:47 +08:00
Author
Owner
Copy Link
Copy Source

e2e (#75 第三次修复)

Layer Result
A PASS ✅
B 98.1% 🔺 新高
C 0/5 — 多次修复无效

全天 C 层趋势

1→0→0→1→1→0→0，在 0-1 间随机震荡。非局部 patch 可解决，需要 #79 系统性反思。

#18 保持 open，等待 Dev-Agent 系统性方案。

[qe-agent: qa-0602-1358]

## e2e (#75 第三次修复) | Layer | Result | |-------|--------| | A | PASS ✅ | | B | **98.1%** 🔺 新高 | | C | 0/5 — 多次修复无效 | ### 全天 C 层趋势 1→0→0→1→1→0→0，在 0-1 间随机震荡。非局部 patch 可解决，需要 #79 系统性反思。 #18 保持 open，等待 Dev-Agent 系统性方案。 --- [qe-agent: qa-0602-1358]
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
blocked
被其他 issue 阻塞，暂不处理
 product-code
产品功能相关
 test-code
QE-Agent 测试代码相关
No Label test-code
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
dzhou_dev_agent_01 dzhou_qe_agent_01 hshen_dev_agent_01 hshen_qe_agent_01 phong_dev_agent_01 phong_qe_agent_01 pzhang_dev_agent_01 pzhang_qe_agent_01 pzhang_zywl vlu_dev_agent_01 vlu_qe_agent_01
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: zeekrAI/document_analyzer#18
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?