arXiv · Software Engineering· Francisco Ortin·2026-09-30 12:00· 7 小时前AI 评分28

SafeLLM4SE：面向 LLM 软件工程系统的统计评估与报告方法

SafeLLM4SE: Statistical Evaluation and Reporting for LLM-based Software Engineering Systems

AI 导读

SafeLLM4SE 提出一种统计严谨的 LLM 软件工程系统评估与报告标准，将生成输出视为随机过程并区分质量、稳定性和估计不确定性，结合自适应采样、置信区间、分布感知的统计比较与效应量。该方法以开源软件包形式发布于 PyPI，并在 HumanEval 编程基准上对两个 LLM 进行对比演示。