ACM Transactions on Software Engineering and Methodology· 2026Q1
Doğruluk Ötesi: Ajanlı Çok Parçalı Onarımın Davranışsal Dinamikleri
Beyond Accuracy: Behavioral Dynamics of Agentic Multi-Hunk Repair
- 0atıf
- Q1SCImago
- 2026yıl
Kısa özet
Dört LLM kodlama ajanı (Claude Code, Codex, Gemini-cli, Qwen Code), 404 çok parçalı hata üzerinde değerlendirildiğinde, yerelleştirme (Codex için %75,3 başarı) ve onarım doğruluğunda (Claude Code için %92,82) önemli farklılıklar göstermiştir; doğruluk hata karmaşıklığı ve dağılımı ile azalmaktadır.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Codex, çok parçalı hatalarda en yüksek yerelleştirme başarı oranına (%75,3) ulaşırken, Qwen Code en düşüğe (%40,4) sahipti.
- Claude Code en yüksek onarım doğruluğunu (%92,82) gösterdi ve doğruluk hata dağılımı ve karmaşıklığı arttıkça azaldı.
- Claude Code ve Codex gibi yüksek performanslı ajanlar, yeni hatalar oluşturan düşük performanslı ajanların aksine, pozitif ortalama gerileme azaltma sergiledi.
- Ajanların başarısız onarımları, başarılı olanlara göre %33-440 daha fazla girdi jetonu tüketti ve %35-330 daha uzun yürütme süresi aldı.
- Maple aracı, depo düzeyinde bağlamı geliştirerek Gemini-cli'nin onarım doğruluğunu yaklaşık %21 oranında iyileştirdi.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Automated program repair has traditionally focused on single-hunk defects, overlooking multi-hunk bugs that are prevalent in real-world systems. Repairing these bugs requires coordinated edits across multiple, disjoint code regions, posing substantially greater challenges. We present the first systematic study of LLM-driven coding agents ( Claude Code, Codex, Gemini-cli , and Qwen Code ) on this task. We evaluate these four state-of-the-art agents on 404 multi-hunk bugs from the PolyHunk dataset, yielding 1,616 repair trajectories for large-scale behavioral analysis. We employ fine-grained metrics to assess localization, repair accuracy, regression behavior, and operational dynamics across agents. We find that localization capability varies substantially, with Codex achieving the highest success rate (75.3%) and Qwen Code the lowest (40.4%). Repair accuracy also differs widely, ranging from 26.98% ( Qwen Code ) to 92.82% ( Claude Code ), and consistently declines with increasing bug dispersion and complexity (hunk divergence and spatial proximity). High-performing agents (Claude Code and Codex) demonstrate superior semantic consistency, achieving positive average regression reduction, whereas lower-performing agents often introduce new test failures. Notably, agents do not fail fast ; failed repairs consume substantially more resources (33%–440% more input tokens) and require longer execution time (35%–330%). Additionally, we developed Maple to provide agents with repository-level context. Empirical results show that Maple improves repair accuracy of Gemini-cli by ∼21% through enhanced localization. By analyzing fine-grained metrics and trajectory-level analysis, this study moves beyond accuracy to explain how coding agents localize, reason, and act during multi-hunk repair. Our findings underscore the impact of bug divergence and spatial proximity on multi-hunk repair success for coding agents.
Yazarların özeti; kaynağından alınmıştır. ACM Transactions on Software Engineering and Methodology, 2026 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Yazılım
SoftwareComputer Science