arXiv · Software Engineering· Oleg Grynets, Ivan Fedorchuk, Vasyl Lyashkevych·· 4 hr agoAI score28
防泄漏评估框架 LRFB 评测 AI 生成数据库规范的 LLM 裁判
Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration
AI brief
论文提出防泄漏框架与基准 LRFB,含 494 对已标注源-规范对,覆盖 19 项质量指标、7 个维度。在 247 条留出记录上,GPT-4o、DeepSeek V4 Pro、Claude Sonnet 4.5 的平衡准确率分别为 0.87、0.89、0.81,规范长度基线达 0.88,配对检验未能区分任何裁判与该基线。研究将规范评估从二元缺陷检测重构为证据关联的类型化发现与基准有效性控制。
Source: arXiv · Software Engineering · arxiv.org