SWE Refactor Bench：编码代理的整仓迁移仍远未可靠

• 类别：研究
• 发布时间：2026-08-24

原始摘要

We introduce SWE Refactor Bench, a benchmark comprising 20 whole-repository migrations… A three-stage evaluation protocol measures both migration completeness and behavioural correctness. … Across 520 runs … only 28 of 520 runs (5.4%) pass all three stages.

软件系统的技术债迁移往往跨越整个仓库。论文指出，既有基准只测行为正确性，代理可能复制旧实现以通过测试，却没有完成迁移；作者将其称为“Blindness”。SWE Refactor Bench 包含 20 个整仓迁移任务与三阶段评测：迁移审计、固定行为测试、由 6 个独立编码代理生成的针对性验证。8 个前沿模型的 520 次运行中，仅 28 次全通过；最佳模型 claude-opus-5 得分为 47/100。

为什么重要

这项结果提醒团队：通过 CI 并不等于代理完成了架构或技术栈迁移。把代理用于高影响重构时，必须单独验收迁移目标、隐藏行为差异及回归风险，不能只看测试绿灯。

关键要点

• 迁移完整性与行为正确性是不同能力。
• 20 个任务中有 13 个没有任何被接受的解。
• 通过迁移审计的 340 次运行中，58% 达到 99% 固定检查，但仅 26% 达到 100%。