| word2vec的原理及实现（附github代码） | 您所在的位置：网站首页 › python输出换行代码 › word2vec的原理及实现（附github代码） |
word2vec的原理及实现（附github代码）
|
目录 一、word2vec原理 二、word2vec代码实现 （1）获取文本语料 （2）载入数据，训练并保存模型 ① # 输出日志信息 ② # 将语料保存在sentence中 ③ # 生成词向量空间模型 ④ # 保存模型 （3）加载模型，实现功能 （4）增量训练 最近要用到文本词向量，借此机会重温一下word2vec。本文会讲解word2vec的原理和代码实现。 本文提供的github代码链接：https://github.com/yip522364642/word2vec-gensim 在NLP中，要让计算机读懂文本语言，首先要对文本进行编码。常见的编码如独热编码（one-hot encoding），词袋模型（BOW，bag of words），词向量模型（word embedding）。而word2vec就是词向量模型中的一种，它是google在2013年发布的工具。 一、word2vec原理 word2vec工具主要包含两个模型：连续词袋模型（CBOW，continuous bag of words）和跳字模型（skip-gram）。如下图所示，左边蓝色部分代表CBOW模型，右边绿色部分代表Skip-gram模型。它们两者的区别是，CBOW是根据上下文去预测目标词来训练得到词向量，如图是根据W(t-2),W(t-1),W(t+1),W(t+2)这四个词来预测W(t)；而Skip-gram是根据目标词去预测周围词来训练得到词向量，如图是根据W(t)去预测W(t-2),W(t-1),W(t+1),W(t+2)。根据经验，CBOW用于小型语料库比较适合，而Skip-gram在大型的语料上表现得比较好。
那具体是如何实现的呢？下文以CBOW模型为例，介绍各个步骤实现细节（具体公式先省略，有空再补上）
以上图为例， ① 输入层（Input layer）：目标单词上下文的单词（这里显示三个），每个单词用ont-hot编码表示，为[1 * V]大小的矩阵，V表示词汇大小； ② 所有的ont-hot矩阵乘以输入权重矩阵W，W是[V * N]大小的共享矩阵，N是指输出的词的向量维数； ③ 将相乘得到的向量 （[1 * V] 的ont-hot矩阵乘上[V * N]的共享矩阵W） 相加，然后求平均作为隐层向量h， 大小为[1 * N]； ④ 将隐层向量h乘以输出权重矩阵W'，W'是[N * V]大小的共享矩阵； ⑤ 相乘得到向量y，大小为[1 * V]，然后利用softmax激活函数处理向量y，得到V-dim概率分布； ⑥ 由于输入的是ont-hot编码，即每个维度都代表着一个单词，那么V-dim概率分布中，概率最大的index所指代的那个单词为预测出的中间词。 ⑦ 将结果与真实标签的ont-hot做比较，误差越小越好，这里的误差函数，即loss function一般选交叉熵代价函数。 以上为CBOW生成词向量的全过程。如果我们只是想提取每个单词的向量，那么只需要得到向量y就可以了，但训练过程中要去做预测并计算误差，去求得输入权重矩阵W和输出权重矩阵W'。 二、word2vec代码实现 下文，我将介绍采用python的gensim包实现word2vec，并介绍相关函数功能。 （1）获取文本语料本文采用网上的文本语料，语料大小将近100M，下载地址为http://mattmahoney.net/dc/text8.zip 下载之后，可以查看语料内容（看语料主要是为了清楚数据的格式是怎样的，方便后面模型的读取） ''' 1 获取文本语料并查看 ''' with open('text8', 'r', encoding='utf-8') as file: for line in file.readlines(): print(line)我们发现语料已经按空格分好词，并且去除了所有的标点符号，也没有换行符，如下所示为输出截图
（2）载入数据，训练并保存模型 ''' 2 载入数据，训练并保存模型 ''' from gensim.models import word2vec import logging logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) # 输出日志信息 sentences = word2vec.Text8Corpus('text8') # 将语料保存在sentence中 model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) # 生成词向量空间模型 model.save('text8_word2vec.model') # 保存模型 接下来逐个讲解每个代码的意思（非常重要！！！） ① # 输出日志信息 logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)这一行表示程序会输出日志信息，形式（format）为日期（asctime）：信息级别（levelname）：日志信息（message），信息级别为正常信息（logging.INFO）。当然，logging.basicConfig函数里面可以添加各个参数，这里只添加了format参数，你也可以根据需要增加参数，建议只加自己想知道的东西，具体参考如下： logging.basicConfig函数各参数: filename: 指定日志文件名 filemode: 和file函数意义相同，指定日志文件的打开模式，'w'或'a' format: 指定输出的格式和内容，format可以输出很多有用信息，如上例所示: %(levelno)s: 打印日志级别的数值 %(levelname)s: 打印日志级别名称 %(pathname)s: 打印当前执行程序的路径，其实就是sys.argv[0] %(filename)s: 打印当前执行程序名 %(funcName)s: 打印日志的当前函数 %(lineno)d: 打印日志的当前行号 %(asctime)s: 打印日志的时间 %(thread)d: 打印线程ID %(threadName)s: 打印线程名称 %(process)d: 打印进程ID %(message)s: 打印日志信息 datefmt: 指定时间格式，同time.strftime() level: 设置日志级别，默认为logging.WARNING stream: 指定将日志的输出流，可以指定输出到sys.stderr,sys.stdout或者文件，默认输出到sys.stderr，当stream和filename同时指定时，stream被忽略 logging打印信息函数： logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message')输出结果截图：
② # 将语料保存在sentence中 sentences = word2vec.Text8Corpus('text8') 这里采用的‘text8‘语料是已经按空格分好词，并且去除了所有的标点符号，也没有换行符，所以不需要任何的预处理。 对于大规模数据集，sentences可以采用word2vec.BrownCorpus()，word2vec.Text8Corpus()或word2vec.LineSentence()来读取；对于小规模数据集，sentences可以是一个List的形式，如sentences=[["I", "love", "China", "very", "much"], ["China", "is", "a", "strong", "country"]]。 ③ # 生成词向量空间模型 model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) 此行通过设置各个参数，来配置word2vec模型，具体参数的介绍如下： ''' 1.sentences：可以是一个List，对于大语料集，建议使用BrownCorpus,Text8Corpus或·ineSentence构建。 2.sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 3.size：是指输出的词的向量维数，默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。 4.window：为训练的窗口大小，8表示每个词考虑前8个词与后8个词（实际代码中还有一个随机选窗口的过程，窗口大小0,则会采用negativesamp·ing，用于设置多少个noise words 13.cbow_mean: 如果为0，则采用上下文词向量的和，如果为1（default）则采用均值。只有使用CBOW的时候才起作用。 14.hashfxn： hash函数来初始化权重。默认使用python的hash函数 15.iter： 迭代次数，默认为5。 16.trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。可以设置为None（min_count会被使用）或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。 17.sorted_vocab： 如果为1（defau·t），则在分配word index 的时候会先对单词基于频率降序排序。 18.batch_words：每一批的传递给线程的单词的数量，默认为10000 ''' ④ # 保存模型 model.save('text8_word2vec.model')将模型保存起来，以后再使用的时候就不用重新训练，直接加载训练好的模型使用就可以了。 下面会介绍加载模型后，直接使用word2vec来实现各个功能。 （3）加载模型，实现功能 ''' 3 加载模型，实现各个功能 ''' # 加载模型 model = word2vec.Word2Vec.load('text8_word2vec.model') # 计算两个词的相似度/相关程度 print("计算两个词的相似度/相关程度") word1 = 'man' word2 = 'woman' result1 = model.similarity(word1, word2) print(word1 + "和" + word2 + "的相似度为：", result1) print("\n================================") # 计算某个词的相关词列表 print("计算某个词的相关词列表") word = 'bad' result2 = model.most_similar(word, topn=10) # 10个最相关的 print("和" + word + "最相关的词有：") for item in result2: print(item[0], item[1]) print("\n================================") # 寻找对应关系 print("寻找对应关系") print(' "boy" is to "father" as "girl" is to ...? ') result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3) for item in result3: print(item[0], item[1]) print("\n") more_examples = ["she her he", "small smaller bad", "going went being"] for example in more_examples: a, b, x = example.split() predicted = model.most_similar([x, b], [a])[0][0] print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted)) print("\n================================") # 寻找不合群的词 print("寻找不合群的词") result4 = model.doesnt_match("flower grass pig tree".split()) print("不合群的词：", result4) print("\n================================") # 查看词向量（只在model中保留中的词） print("查看词向量（只在model中保留中的词）") word = 'girl' print(word, model[word]) # for word in model.wv.vocab.keys(): # 查看所有单词 # print(word, model[word]) （4）增量训练 在使用词向量时，如果出现了在训练时未出现的词（未登陆词），可采用增量训练的方法，训练未登陆词以得到其词向量 ''' 4 增量训练 ''' model = word2vec.Word2Vec.load('text8_word2vec.model') more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']] model.build_vocab(more_sentences, update=True) model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter) model.save('text8_word2vec.model')
完整代码如下，github为：https://github.com/yip522364642/word2vec-gensim # -*- coding: utf-8 -*- # @Time : 2019/11/13 14:55 # @FileName: word2vec-gensim.py # @Software: PyCharm # @Author : yip # @Email : [email protected] # @Blog : https://blog.csdn.net/qq_30189255 # @Github : https://github.com/yip522364642 import warnings warnings.filterwarnings("ignore") ''' 1 获取文本语料并查看 ''' # with open('text8', 'r', encoding='utf-8') as file: # for line in file.readlines(): # print(line) ''' 2 载入数据，训练并保存模型 ''' from gensim.models import word2vec import logging logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) # 输出日志信息 sentences = word2vec.Text8Corpus('text8') # 将语料保存在sentence中 model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) # 生成词向量空间模型 model.save('text8_word2vec.model') # 保存模型 ''' 3 加载模型，实现各个功能 ''' # 加载模型 model = word2vec.Word2Vec.load('text8_word2vec.model') # 计算两个词的相似度/相关程度 print("计算两个词的相似度/相关程度") word1 = 'man' word2 = 'woman' result1 = model.similarity(word1, word2) print(word1 + "和" + word2 + "的相似度为：", result1) print("\n================================") # 计算某个词的相关词列表 print("计算某个词的相关词列表") word = 'bad' result2 = model.most_similar(word, topn=10) # 10个最相关的 print("和" + word + "最相关的词有：") for item in result2: print(item[0], item[1]) print("\n================================") # 寻找对应关系 print("寻找对应关系") print(' "boy" is to "father" as "girl" is to ...? ') result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3) for item in result3: print(item[0], item[1]) print("\n") more_examples = ["she her he", "small smaller bad", "going went being"] for example in more_examples: a, b, x = example.split() predicted = model.most_similar([x, b], [a])[0][0] print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted)) print("\n================================") # 寻找不合群的词 print("寻找不合群的词") result4 = model.doesnt_match("flower grass pig tree".split()) print("不合群的词：", result4) print("\n================================") # 查看词向量（只在model中保留中的词） print("查看词向量（只在model中保留中的词）") word = 'girl' print(word, model[word]) # for word in model.wv.vocab.keys(): # 查看所有单词 # print(word, model[word]) ''' 4 增量训练 ''' model = word2vec.Word2Vec.load('text8_word2vec.model') more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']] model.build_vocab(more_sentences, update=True) model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter) model.save('text8_word2vec.model')
以上介绍了word2vec原理代码实现。 |
【本文地址】