arXiv · Software Engineering· Ruiqi Zhang, Jiahao Wang, Mingxuan Li, Haichen Luo, Chaoting Wang, Guoyu Mou, Keyu Lai, Hanchao Lv, Jiaxu Wang, Yibo Zheng, Aijun Yang, Xiaohua Wang·· 16 小时前AI 评分23
SimuVerity:面向工程级 Simulink 模型生成的智能体基准
SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation
AI 导读
SimuVerity 是一个包含 101 个文本到可执行 Simulink 模型生成任务的基准,覆盖十个工程领域,用于评估智能体是否真正满足工程需求。其分层评估器先检查交付物、可执行性与工程合格性,再从六个维度打分;六个智能体系统的最佳总分仅 42.86。结果显示结构相似性不能代表工程性能,部分高分模型仍存在严重视觉布局混乱。
来源:arXiv · Software Engineering · arxiv.org