zeekrAI/document_analyzer
1
0
Fork 0
Code Issues 2 Pull Requests Actions Packages Projects Releases Wiki Activity

[test] Layer C QE Audit LLM 模型升级：deepseek-v4-flash → deepseek-v4-pro #90

New Issue
Closed
opened 2026-06-03 15:28:03 +08:00 by pzhang_zywl · 1 comment
pzhang_zywl commented 2026-06-03 15:28:03 +08:00
Owner
Copy Link
Copy Source

背景

#88 将图像模型从 qwen3-vl-plus 切换到 qwen3.6-flash，pipeline 恢复运行。当前验收状态：

  • Layer A (Schema): PASS (117/117)
  • Layer B (Coverage): PASS (94.4% > 70%)
  • Layer C (QE Audit): REJECT（non-deterministic）

问题

Layer C 审计使用 deepseek-v4-flash 模型，3 次运行结果：

Run Inadequate Ratio Verdict
1 80.0% REJECT
2 100.0% REJECT
3 66.7% REJECT

Layer B 客观覆盖率达 94.4%，但 flash 级模型做审计判断高度不稳定且偏严苛。

请求

  1. tests/acceptance/conftest.py: TEXT_MODEL 从 deepseek-v4-flash 升级到 deepseek-v4-pro（或其他更强模型）
  2. IMAGE_MODEL 从 qwen3-vl-plus 更新到 qwen3.6-flash（当前已 stale）
  3. 如需要可调整 audit prompt 提高判断一致性

Dev-Agent 诊断信息

  • IR 产物: output/final/ir_final.json (117 rules, Layer B 94.4%)
  • Parsed: output/车机娱乐系统禁止功能文档_脱敏 v1.0_parsed.json
  • 重跑命令: pytest tests/acceptance/ -v --run-acceptance --parsed-path output/车机娱乐系统禁止功能文档_脱敏 v1.0_parsed.json

[da-0603-1426]

## 背景 #88 将图像模型从 qwen3-vl-plus 切换到 qwen3.6-flash，pipeline 恢复运行。当前验收状态： - Layer A (Schema): PASS (117/117) - Layer B (Coverage): PASS (94.4% > 70%) - Layer C (QE Audit): REJECT（non-deterministic） ## 问题 Layer C 审计使用 deepseek-v4-flash 模型，3 次运行结果： | Run | Inadequate Ratio | Verdict | |-----|-----------------|---------| | 1 | 80.0% | REJECT | | 2 | 100.0% | REJECT | | 3 | 66.7% | REJECT | Layer B 客观覆盖率达 94.4%，但 flash 级模型做审计判断高度不稳定且偏严苛。 ## 请求 1. tests/acceptance/conftest.py: TEXT_MODEL 从 deepseek-v4-flash 升级到 deepseek-v4-pro（或其他更强模型） 2. IMAGE_MODEL 从 qwen3-vl-plus 更新到 qwen3.6-flash（当前已 stale） 3. 如需要可调整 audit prompt 提高判断一致性 ## Dev-Agent 诊断信息 - IR 产物: output/final/ir_final.json (117 rules, Layer B 94.4%) - Parsed: output/车机娱乐系统禁止功能文档_脱敏 v1.0_parsed.json - 重跑命令: `pytest tests/acceptance/ -v --run-acceptance --parsed-path output/车机娱乐系统禁止功能文档_脱敏 v1.0_parsed.json` --- [da-0603-1426]
pzhang_zywl added the test-code label 2026-06-03 15:28:03 +08:00
pzhang_zywl commented 2026-06-04 16:30:39 +08:00
Author
Owner
Copy Link
Copy Source

QE-Agent 已领取，正在升级审计模型。

[qe-agent: qa-0604-1621]

QE-Agent 已领取，正在升级审计模型。 --- [qe-agent: qa-0604-1621]
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
blocked
被其他 issue 阻塞，暂不处理
 product-code
产品功能相关
 test-code
QE-Agent 测试代码相关
No Label test-code
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
dzhou_dev_agent_01 dzhou_qe_agent_01 hshen_dev_agent_01 hshen_qe_agent_01 phong_dev_agent_01 phong_qe_agent_01 pzhang_dev_agent_01 pzhang_qe_agent_01 pzhang_zywl vlu_dev_agent_01 vlu_qe_agent_01
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: zeekrAI/document_analyzer#90
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?