ViT表征结构研究：特征坍缩与泛化预测代理

1. 12:00
   arXiv · Computer Vision

   解析 Vision Transformer 的表征结构：一项严格的架构研究

   该研究对不同架构规模下的特征信息进行了严格分析，揭示 ViT 表征与泛化行为的关系，并用于指导高效 ViT 设计。研究提出初始化特征坍缩的缓解方案，用熵与最小特征值量化特征信息，并发现 token 空间特征比嵌入空间更忠实、线性子模块特征对泛化预测至关重要。所提代理指标较先前基线将相关性排序提升 18-48%，可识别在更低或相当计算成本下取得更高准确率的 ViT 架构。

Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.