目录

前言

一、什么是Skip-gram算法

二、目标是什么

三、定义表示法

3.1 one-hot向量

3.2 词向量（word vector）

3.3 单词矩阵

3.4 单词相似度

3.5 softmax函数

3.6 算法过程

3.7 求softmax

四、skipgram代码实现

4.1 如何把词转换为向量

4.2 CBOW和Skip-gram的算法实现

Skip-gram的理想实现

Skip-gram的实际实现

4.3 使用Pytorch实现Skip-gram

数据处理

网络定义

网络训练

本文主要参考了一篇知乎文章和一篇飞浆文章，文章末尾有注明来处，在此基础上加入了个人的理解与思考，并用自己的数据集进行了代码复现，并提出了基于知网数据集下一步的改进方向。

Skip-gram算法就是在给出目标单词（中心单词）的情况下，预测它的上下文单词（除中心单词外窗口内的其他单词，这里的窗口大小是2，也就是左右各两个单词࿰