word2vec 到底学到了什么？

word2vec 在小初始化下以离散、顺序的步骤学习，每次步骤增加嵌入矩阵的秩，最终学习结果等价于对目标矩阵 M* 做 PCA。目标矩阵 M* 由语料共现概率定义，其 top 特征向量对应名人传记、政府行政、地理描述等可解释主题。该理论在温和近似条件下闭合可解，与数值实验吻合良好。