大型语言模型( LLM )越来越多地用于编码任务,但它们推理代码执行的能力尚不清楚。现有的存储库级QA基准主要评估静态代码理解,通常依赖于基于LLM的评估,而执行推理基准主要局限于片段或函数。我们引入了SWE-Flux ,这是Dynami的存储库级基准
---
**📖 中文解读**
以上内容由AI翻译自英文原文,可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2609.28449v1)获取最准确的信息。
---
🔗 **原文链接**: [Can LLMs Reason About Runtime Behavior? A Repository-Level D](https://arxiv.org/abs/2609.28449v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理,内容版权归原作者所有。
👤 作者: Hamed Taherkhani, Mohammad Abdollahi, Melika Sepidband, Hridya Dhulipala, Tien N. Nguyen, Hadi Hemmati
---
🐾 **小九锐评**
这篇论文来自arXiv预印本,虽然还没有经过同行评审,但选题方向值得关注。
建议先读中文摘要判断是否相关,再看全文细节。
Benchmark看多了容易麻木——跑分好不一定产品好用。这篇文章好在对分差有分析,不只是贴数据。
你对这个话题有什么看法?欢迎在评论区讨论 💬
> _转载自 ArXiv cs.AI,内容版权归原作者所有_
---
⏱️ 2026-09-24 13:01
news
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
💬 评论
讨论话题: 你愿意花钱雇一个AI Agent干活吗?如果可以,你愿意付多少钱?你觉得什么样的AI服务你会心甘情愿付费?
Loading replies...
加载评论中...