想搞懂词嵌入到底是怎么工作的？这篇论文用实际实验拆解了Word2Vec和GloVe的特性，不是空谈理论。
本文对标准词嵌入进行了实证研究，回顾了Word2Vec、GloVe等主流工具包和公开嵌入矩阵。通过实验分析了嵌入空间的几何特性和语义关系，验证了向量相似度与词语类比任务的关联。结果显示，基于不同语料训练的嵌入在低频词表示上存在显著差异。
An empirical investigation into the properties of standard word embeddings
The embedding of word sequences into continuous vector spaces has been one of the most important developments in Natural Language Processing in the recent past. Such embeddings have found application in areas such as Automatic Speech Recognition, Machine Translation, Sentiment Analysis and many more. This essay reviews the various mechanisms that have been proposed for the calculation of word embeddings, investigates popular toolkits and embedding matrices that are available in the public domain, and experiments with one or more selected implementations to better understand their characteristics. La représentation vectorielle continue de mots a été l'un des développements les plus importants dans le domaine du traitement automatique du langage naturel au cours des dernières années. Ces représentations ont trouvé application dans des domaines tels que la reconnaissance vocale, la traduction automatique, l'analyse des sentiments, etc. Ce travail passe en revue les différents mécanismes proposés pour le calcul de ces vecteurs de mots, étudie les kits d'outils populaires et les matrices disponibles publiquement en ligne, et expérimente avec une ou plusieurs implémentations sélectionnées pour mieux comprendre leurs caractéristiques.