跳到正文
原文
arXiv · Software Engineering· Hai Duong, Thanh Le, ThanhVu Nguyen·· 3 小时前AI 评分26

ZonoGPT:面向大型 GPT 模型验证的抽象域

ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models

AI 导读

ZonoGPT 是一种用于验证大型 Transformer 的抽象域,空间复杂度与网络深度无关。它用结构化 zonotope 与生成器缩减机制保留相关性,并为 Attention、LayerNorm 和 GELU 设计保精度变换。该方法可验证官方 HuggingFace 模型至 GPT-2 Medium(24 blocks、300M+ 参数),并在文本与视觉任务上成功验证 1,339 个实例。

来源:arXiv · Software Engineering · arxiv.org