- 前言
- 一、Word2Vec原理解析
- 二、Word2Vec模型实现
- 总结
本文主要介绍了用Python从零实现SkipGram，包含Word2Vec模型的原理解析和模型实现。
一、Word2Vec原理解析Word2Vec模型是最基本、最经典的词向量模型，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文；而CBOW是给定上下文，来预测input word。如下：
以SkipGram为例，一个单词预测的神经网络结构如下：
可以看到，第一层是输入层，输入的是one-hot向量；
中间层是神经网络隐层；
第三层是输出层，输出每个词的概率值，一般最后一层是SoftMax。
Word2Vec模型中，中间层和输出层之间没有使用ReLU激活函数ÿ
