跳到正文
原文
arXiv · Machine Learning Theory· Ningkang Peng, Qianfeng Yu, Jingyang Mao, Xiaoqian Peng, Tingyu Lu, Peirong Ma, Yanhui Gu·· 3 小时前AI 评分21

概率对比学习中的共享温度是否意味着共享角尺度?

Does a Shared Temperature Imply a Shared Angular Scale in Probabilistic Contrastive Learning?

AI 导读

研究证明在概率对比学习中,共享温度并不等价于共享相似度尺度,vMF 分布的类相关角增益 g_c=A_c/τ 进入 Softmax 竞争、决策边界与特征梯度。在 CIFAR-LT、ImageNet-LT 和 iNaturalist 上理论预测边界移动与梯度变化,16 种冻结表示下预测一致率达 98.43-99.99%。

来源:arXiv · Machine Learning Theory · arxiv.org