SWE-bench Verified 是评估编码代理的黄金标准：500 个真实世界问题 + OpenAI 的测试。听起来无懈可击？其实并非如此。 我们展示了通过单元测试并不等于与真实结果相匹配。在我们的 ACL 论文中，我们修复了有缺陷的评估：24% 的代理在排行榜上上升或下降了！ 1/7

强化学习使得大型语言模型在编程/数学竞赛中超越人类，并推动了最近的进展（OpenAI 的 o 系列，Anthropic 的 Claude 4） 强化学习能否像预训练那样实现广泛的泛化？目前的技术无法做到 🧵 1/7

我将在SIGMOD的海报会议2上进行演讲（周三16:00在Potsdam II）。来打个招呼吧！

近似查询处理（AQP）可以将长时间运行的分析查询加速几个数量级。但为什么AQP在生产中仍然很少见？ 为了解决这个问题，我们开发了PilotDB，一个在线AQP中间件，它对数据库管理系统（DBMS）没有任何更改，提供具有先验误差保证的结果，并实现高达126倍的加速。 1/8

@ZhanQiusi1 将在周三上午11点的海报展示环节以及周六的TrustNLP研讨会（重点演讲）中展示我们的工作！如果看到她，请打个招呼。

我今年会参加#ICLR2025！将在对齐研讨会（Alignment Workshop）上发表演讲，并在机器学习安全社交（ML Safety Social）上参加一个小组讨论。如果看到我，记得打个招呼哦！

#伊利诺伊大学计算机科学教授Daniel Kang与麻省理工科技评论讨论了针对AI网络攻击者的预防措施 🤖💻 阅读更多！ ▶️

数据工程师将超过60%的时间花在数据管道上。AI代理能否提供帮助？ 介绍ELT-Bench，这是第一个评估AI代理在构建端到端ELT管道方面的基准。目前的SOTA代理仅实现了3.9%的成功率——还有很长的路要走！ 1/7

如今，AI可以生成大量代码——但我们如何知道它是否优秀呢？

AI代理越来越受欢迎（例如，OpenAI的运营商），但可能会被攻击以伤害用户！ 我们在NAACL 2025研究论文中展示了即使有防御措施，AI代理仍然可以通过“自适应攻击”间接提示注入而被妥协。 🧵和链接如下