Skip to content
arXiv · Software Engineering· Hai Duong, Thanh Le, ThanhVu Nguyen·· 4 hr agoAI score26

ZonoGPT:面向大型 GPT 模型验证的抽象域

ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models

AI brief

ZonoGPT 是一种用于验证大型 Transformer 的抽象域,空间复杂度与网络深度无关。它用结构化 zonotope 与生成器缩减机制保留相关性,并为 Attention、LayerNorm 和 GELU 设计保精度变换。该方法可验证官方 HuggingFace 模型至 GPT-2 Medium(24 blocks、300M+ 参数),并在文本与视觉任务上成功验证 1,339 个实例。

Source: arXiv · Software Engineering · arxiv.org