Skip to content
Hot eventLive

防泄漏框架LRFB评测AI生成的Oracle PL/SQL规范

1 reports1 sources3 hr ago updated

Get the story

AI overview

论文提出防泄漏评估框架与基准 LRFB，包含 494 对已标注源-规范对，覆盖 19 项质量指标、7 个维度。研究在 247 条留出记录上评估 LLM 裁判：GPT-4o、DeepSeek V4 Pro、Claude Sonnet 4.5 的平衡准确率分别为 0.87、0.89、0.81，而规范长度基线达到 0.88；配对检验未能区分任何裁判与该基线。研究将规范评估从二元缺陷检测重构为证据关联的类型化发现与基准有效性控制。

Generated from reports · updated 3 hr ago

LatestOct 12
LRFB基准含494对标注对，LLM裁判平衡准确率0.81–0.89，未显著优于0.88的长度基线。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Software Engineering
    防泄漏评估框架 LRFB 评测 AI 生成数据库规范的 LLM 裁判

    论文提出防泄漏框架与基准 LRFB，含 494 对已标注源-规范对，覆盖 19 项质量指标、7 个维度。在 247 条留出记录上，GPT-4o、DeepSeek V4 Pro、Claude Sonnet 4.5 的平衡准确率分别为 0.87、0.89、0.81，规范长度基线达 0.88，配对检验未能区分任何裁判与该基线。研究将规范评估从二元缺陷检测重构为证据关联的类型化发现与基准有效性控制。

Heat trend

There is not enough continuous observation data to draw a trend yet.