zeekrAI/document_analyzer
1
0
Fork 0
Code Issues 2 Pull Requests Actions Packages Projects Releases Wiki Activity

[bug] run_pipeline.py subprocess GBK encoding causes stdout=None on Windows #84

New Issue
Closed
opened 2026-06-03 14:39:29 +08:00 by pzhang_zywl · 2 comments
pzhang_zywl commented 2026-06-03 14:39:29 +08:00
Owner
Copy Link
Copy Source

问题

运行 python scripts/run_pipeline.py --input input/doc.docx 时，step1_semantic_index.py 子进程在 GBK 环境下 stdout 捕获失败，stderr 线程因 UnicodeDecodeError 崩溃，导致 result.stdout 为 None，pipeline 中断。

根因

scripts/run_pipeline.py:83 的 subprocess.run(capture_output=True, text=True) 未指定 encoding='utf-8'。在 Windows GBK locale 下，子进程输出包含非 GBK 字符时，内部 reader 线程抛出 UnicodeDecodeError: 'gbk' codec can't decode byte，stdout 变为 None。

同样的问题也存在于 run_acceptance_tests() (line 114)。

修复

在 subprocess.run 调用中添加 encoding='utf-8' 参数。代码级修复，UT 可验证。

[da-0603-1426]

## 问题 运行 `python scripts/run_pipeline.py --input input/doc.docx` 时，step1_semantic_index.py 子进程在 GBK 环境下 stdout 捕获失败，stderr 线程因 UnicodeDecodeError 崩溃，导致 result.stdout 为 None，pipeline 中断。 ## 根因 `scripts/run_pipeline.py:83` 的 `subprocess.run(capture_output=True, text=True)` 未指定 `encoding='utf-8'`。在 Windows GBK locale 下，子进程输出包含非 GBK 字符时，内部 reader 线程抛出 `UnicodeDecodeError: 'gbk' codec can't decode byte`，stdout 变为 None。 同样的问题也存在于 `run_acceptance_tests()` (line 114)。 ## 修复 在 subprocess.run 调用中添加 `encoding='utf-8'` 参数。代码级修复，UT 可验证。 --- [da-0603-1426]
pzhang_zywl added the product-code label 2026-06-03 14:39:29 +08:00
pzhang_zywl commented 2026-06-03 14:40:27 +08:00
Author
Owner
Copy Link
Copy Source

PR 已创建: http://localhost:3000/pzhang_zywl/document_analyzer/pulls/85

变更:

  • run_ir_pipeline() subprocess.run 添加 encoding='utf-8'
  • run_acceptance_tests() subprocess.run 添加 encoding='utf-8' + PYTHONIOENCODING env

等待 CI 通过后 merge。

[da-0603-1426]

PR 已创建: http://localhost:3000/pzhang_zywl/document_analyzer/pulls/85 变更: - `run_ir_pipeline()` subprocess.run 添加 `encoding='utf-8'` - `run_acceptance_tests()` subprocess.run 添加 `encoding='utf-8'` + PYTHONIOENCODING env 等待 CI 通过后 merge。 --- [da-0603-1426]
pzhang_zywl commented 2026-06-03 14:41:39 +08:00
Author
Owner
Copy Link
Copy Source

问题

run_pipeline.py subprocess.run Windows GBK 编码导致 stdout=None，pipeline 中断。

根因

subprocess.run(capture_output=True, text=True) 未指定 encoding，Windows GBK locale 下内部 reader 线程因非 GBK 字符抛出 UnicodeDecodeError。

修复

在 run_ir_pipeline() 和 run_acceptance_tests() 的 subprocess.run 中添加 encoding='utf-8' + PYTHONIOENCODING env。

验证

  • pytest: 110 passed, 16 skipped
  • merge 后 pipeline 可正常启动

[da-0603-1426]

## 问题 run_pipeline.py subprocess.run Windows GBK 编码导致 stdout=None，pipeline 中断。 ## 根因 subprocess.run(capture_output=True, text=True) 未指定 encoding，Windows GBK locale 下内部 reader 线程因非 GBK 字符抛出 UnicodeDecodeError。 ## 修复 在 run_ir_pipeline() 和 run_acceptance_tests() 的 subprocess.run 中添加 encoding='utf-8' + PYTHONIOENCODING env。 ## 验证 - pytest: 110 passed, 16 skipped - merge 后 pipeline 可正常启动 --- [da-0603-1426]
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
blocked
被其他 issue 阻塞，暂不处理
 product-code
产品功能相关
 test-code
QE-Agent 测试代码相关
No Label product-code
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
dzhou_dev_agent_01 dzhou_qe_agent_01 hshen_dev_agent_01 hshen_qe_agent_01 phong_dev_agent_01 phong_qe_agent_01 pzhang_dev_agent_01 pzhang_qe_agent_01 pzhang_zywl vlu_dev_agent_01 vlu_qe_agent_01
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: zeekrAI/document_analyzer#84
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?