arXiv · Software Engineering· Hai Duong, Thanh Le, ThanhVu Nguyen·· 4 hr agoAI score26
ZonoGPT:面向大型 GPT 模型验证的抽象域
ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models
AI brief
ZonoGPT 是一种用于验证大型 Transformer 的抽象域,空间复杂度与网络深度无关。它用结构化 zonotope 与生成器缩减机制保留相关性,并为 Attention、LayerNorm 和 GELU 设计保精度变换。该方法可验证官方 HuggingFace 模型至 GPT-2 Medium(24 blocks、300M+ 参数),并在文本与视觉任务上成功验证 1,339 个实例。
Source: arXiv · Software Engineering · arxiv.org