arXiv · Computers and Society· Joachim Baumann, Vishakh Padmakumar, Xiang Li, John Yang, Diyi Yang, Sanmi Koyejo·· 3 hr agoSelectedAI score67
SWE-chat:来自真实用户的编程智能体交互数据集
SWE-chat: Coding Agent Interactions From Real Users in the Wild
AI brief
SWE-chat 是首个大规模真实编程智能体会话数据集,包含近18000个会话、22.9万条用户提示和200万次工具调用。数据显示41%的会话为智能体主导编写,59%的智能体代码最终被提交,且智能体代码引入的安全漏洞多于人类代码;用户在50%的交互轮次中会纠正或拒绝智能体输出。
Why it matters
基于近18000个真实会话数据,揭示智能体在自然开发环境中的实际效率与失败模式。
Source: arXiv · Computers and Society · arxiv.org