数据科学在文本分析中的应用 ：中英文 NLP（下）

回顾上篇，我们详细介绍了如何实现猫途鹰网站的中英文评论数据采集、入库和清理。本篇中，我们会重点介绍数据建模的原理和代码实现，其中包括 emoji 分析、情感分析、分词、词性词频分析、关键词分析、词云和主题模型文本分类。

在这个步骤中，我们将对语料数据进行针对性处理，使这类数据在分析中发挥它的价值。我们通过完成以下任务来获取关键词字数统计、文本情感正负向和评论主题模型：

由于猫途鹰是全球性网站，许多评论会夹杂多种语言。在本项目中我们分析的重点是中文和英文评论，这意味着我们需要筛选掉非目标语言的评论。为了更全面的分析，大家也可以将一些使用人群较多的语言包含进来（如法语、西班牙语等），但每一种语言都需要相对应的分析和模型，不可混为一谈。

这里，我们选择的语言检测器为 LangID，是一个独立语言识别库。它既可以在 Python 中运行，也可以在 Linux 环境中运行，是灵活度较高的语言检测器之一。以中文评论为例，我们按句为单位探测语句的语言，若该语句不是中文，我们将其移出文本。但由于无法将别种语言按照中文的逻辑来分词，对于在同一句子中混用别种语言的词语，我们依旧按中文处理。英文评论的处理也是同样的逻辑。

为了更全面的文本分析，我们将标题与评论内容进行合并，中间以句号隔开，并对 Pandas DataFrame 中代表合并文本内容的列运行 filter_text_lan() 方程。

中文评论：

英文评论：

Emoji 作为深受全球喜爱的表情符号，在本项目的语料中也频繁出现。为了后续分词等建模步骤，我们必须先将 emoji 从文本中分离出来，结果传送至数据库中。

使用以下方程将 emoji 从文本中提取出来，并去重。

以中文为例：

这样我们就得到了语料中所有的 emoji。接下来我们的目标是，将 emoji 的出现与具体某一个评论联系起来，并针对 emoji 统计词频。

然后将其与语料数据合并：

这里，更新后的数据会将所有出现的 emoji 作为列，如果评论中出现了对应的 emoji，则记录数值为1，反之为0。数据在经过处理后的结构大致如下：

中文评论数据：

英文评论数据：

在获取 emoji 信息之后，我们可以使用 demoji 库将 emoji 从评论语料中删除。

在中文评论语料中，由于网页框架的差异，过长的文本会被折叠，并且 Selenium 在抓取评论内容时无法获取被折叠的内容，会将“阅读更多”的文本一同抓取下来。国际版网站与中文版网站框架的区别是，虽然在视觉上显示的评论格式大致相同，但在网页框架中评论文本并不会被折叠。为了应对中文语料的特殊情况，我们对上述方程进行了一定的变形：

我们在评论变量上运行该程序：

英文评论：

中文评论：

主流的中文文本情感分析模型有两种：使用经典机器学习贝叶斯算法的 SnowNLP 和使用 RNN 的 Cemotion。SnowNLP 和 Cemotion 返回值都在0-1之间。SnowNLP 返回值越接近0则越负向，越接近1则越正向；而 Cemotion 返回的是文本是正向的概率。

在本项目中，我们将测试这两种模型，根据结果择优选择。人工标注往往需要耗费大量时间，因此我们决定随机选取20条评论，人工标注正负向。

在打印了样本评论后，将对应的情感倾向人工打标。正向为1，负向为0。

两种算法的结果都介于0和1之间，我们需要制定判断正负向的标准：都以0.5为界，结果大于0.5为正向（返回数值1），小于等于0.5为负向（返回数值0）。

像之前处理文本数据一样，这里我们先编写处理单个字符串的方程，使用 map 将该方程应用在取样的20条文本上。

将结果进行比较，查看准确率。

可以看到，SnowNLP 与 Cemotion 准确率大致相同。由于评论大多都是好评，Cemotion 的所有预测结果都为正向。在人工标注的过程中，我们会对评论进行比较，把相对而言较为负向的评论标为负向，所以 Cemotion 站在完全客观的角度将这些评论标为正向也可以理解。

SnowNLP 标出了以下文字为负向情绪：

这条评论整体是偏正向的，SnowNLP 的算法则认为其是负向。

在测试过程中，我们发现 SnowNLP 在计算速度上更快，但精确度有限；Cemotion 虽然速度慢，但精准度更高。因此，结合我们的数据量，在本项目中我们将保留 Cemotion 的结果。注意，两种算法都包含了分词等功能，只需输入文本信息即可获得情感倾向结果。

中文评论情感倾向计算方程：

我们将语料数据传递给 get_sentiment_score() 对每条评论的情感倾向进行计算。注意，这里方程返回的是继承了原数据的新 Pandas DataFrame，英文则是将该信息加入了原 Pandas DataFrame 中；这么做的原因是在以后使用类似的功能时，可以保留 SnowNLP 的结果。中文评论后续使用的 Pandas DataFrame 名为 df_senti，英文为 df_transformed。

最后，在1710条中文评论中，负向情感倾向的评论有117条（占比7.19%），正向情感的有1593条（占比92.81%）。

对于英文评论的情感分析，也是类似的操作，但我们选择了更适合英文语料的工具 TextBlob（NLTK 的包装器模式）。TextBlob 以0为界，负值为负向，正值为正向。

将该方程在语料变量上运行：

在得到阶段性成果后，我们将结果写进数据库，便于后续的可视化分析使用。注意，在 Jupyter 环境中 emoji 的显示没有问题，但在数据库环境中并非如此。稳妥起见，我们需要将 emoji 转换为字符串，再将相应结果写进数据库。

中文评论数据：

英文评论数据：

我们以情感情绪为组，统计 emoji 出现的频率。“emoji_count_cols” 为打印 Pandas DataFrame 变量后从中提取的 emoji 和情感倾向变量。

中文评论：

英文评论：

将 emoji 的词频结果写进数据库，以便后续分析。

中文 emoji 综合表：

英文 emoji 综合表：

在本项目中，我们建模的主要目标是情感分析与主题分析。对于模型而言，文字并非有效的输入，需要将文本信息数字化，并将数字化结果传递给模型，从而输出结果。在达成建模目标之前，我们需要对文本进行分词，并对词性进行标注。注意，各种语言有不同的分词方式，中文分词需要根据单词和前后语句判断，而英文分词多数以空白格为界。我们需要根据语言种类来选择不同的分词方式，具体步骤总结如下：

中文评论部分使用的 Python 库为 jieba，是最受欢迎的中文分词组件之一，包含使用 Viterbi 算法新词学习的能力。它拥有多种分词模式，其中 paddle 模式利用了 PaddlePaddle 深度学习框架，训练序列标注（双向 GRU）网络模型实现分词。

为了判断哪类分词方式更适合，我们选取数据中的前5条评论作为样本进行测试：

其中第4条评论的打印结果为：

第5条评论的打印结果为：

我们选取的这两条评论中都提及了一些活动，但方式不同。第4条评论的原句是“感觉不论作为游客还是居民，在这里散步都是非常享受的”，直接使用了“散步”这个动词；而在第5条评论的原句“去江边走一走，散散心”中，“散心”这个动词并不是单独提及的。在Paddle和精准模式中，算法通常会把类似“散散心”这种动词识别为一个词，一定程度上会影响我们对关键词的辨别。但在识别专有名词时，paddle 模式会保留一些例如“和平饭店”、“万达瑞华酒店”这类专有名词，而其他模式（特别是搜索模式）则会将长句进一步拆分。

综合考量过后，我们决定使用精准模式来分词。除此之外，我们会把没有研究意义的停止词从分词结果中删除。中文 NLP 有多种停止词表可供选择，在这里我们使用的是哈尔滨工业大学开发的停止词表。

运行上述方程：

英文 NLP 中最领先的平台之一便是 NLTK（Natural Language Toolkit）。NLTK 拥有50个语料库和词汇资料，开发了多种如分词、情感分析、标记、语义推理等语言处理功能。因此在处理英文评论时，我们选择 NLTK 来处理英文语料。在分词的过程中，各个词会同步进行词性标注。

在使用 NLTK 前，我们需要下载以下数据和算法：

有了相关的算法和数据后，我们就可以使用 NLTK 库中的 pos_tag 方程进行英文分词。同样的，我们会从分词结果中删除停止词，这里使用的停止词资源是 NLTK 自带的英文停止词表。

在英文语料数据上运行该方程：

在中文分词的基础上，我们还做了词性的标注，以名词为例，jieba 会将名词进一步细分为普通名词、地名、人名和其他专名。我们按照以下方式将 jieba 分词后的词语归类为名词、动词和形容词三类：

和中文评论类似，我们按照以下方式将nltk分词后的英文单词做了如下归类：

如下所示，分词过后，每一段评论都转化为一个元组列表（list of tuples），每个元组格式为（词，词性）。

中文分词结果展示：

英文分词结果展示：

以下方程可以将上述格式的分词数据通过词性进行筛选，并计算每个词对应的词频，中英文分词数据通用。这里我们使用的小技巧是组合使用 Python 中的 itertools 库和 collection 库，将表单 list 中的表单元素合为单个表单，并运用 collection 中的 counter 计算各个元素的频率。

输入一个字符串，该方程就会根据输入的词性进行筛选，并计算出相应的词频。以英文为例，我们希望在语料字符串中筛选出名词并进行词频计算，结果展示如下：

有了 get_word_count()，我们就可以根据从多个维度对词语进行词频统计，分别是：情绪倾向、词性、评论年份、评论月份。

在中文分词结果上运行，并将结果写进数据库：

中文词频结果展示：

在英文分词结果上运行：

英文词频结果展示：

Jieba 中包含两种更高阶的用来计算关键词的算法：TF-IDF 和 TextRank。其中 TF-IDF 作为词袋模型（Bag of Word）也经常被用来作为将文字内容数字化的算法之一。由于这两种算法自带清理模块，我们直接使用了原文本而并非去除了停用词的语料。

基于TF-IDF的关键词:

基于TextRank的关键词:

两种算法的结果在排序上略有不同。

为了进一步了解游客们对上海外滩的讨论内容，我们将中英文语料中的名词、动词和形容词分别制作了词频词云，并将词云结果保存。这里我们使用的库是 WordCloud。由于 WordCloud 无法辨别中文，词云会出现乱码的情况。我们需要手动上传中文字体 .tff 文件并传递给 WordCloud，这里我们使用的是开源的阿里巴巴普惠体。

运行该方程获得中文词云：

运行该方程获得英文词云：

可以看到，无论是中文还是英文的语料，占比较高的词在意义上非常相近，两种语言的词云结果很类似。

为了丰富文本分析的层次，我们还使用主题模型（Topic Modelling）对语料进行无监督学习，根据语义将类似的文本划为一组，对评论进行分类。主题模型主要有两类：pLSA（Probabilistic Latent Semantic Analysis）和 LDA（Latent Dirichlet Allocation），LDA 是基于 pLSA 算法的延伸，使得模型可以适应新的文本。

注意，由于我们事先并不知道文本分为几个种类，主题模型是一个无监督学习任务，我们需要根据结果调整文本类别的数量。这里，我们使用了 Python 的 Genism 工具库来识别中英文文本的语意主题。

我们可以尝试多个文本类别数量，看结果是否有价值，这部分非常依赖分析者自身的判断，需要探讨文本类别数量的合理性。

中文文本类别数量中比较有意义是2类主题，LDA 结果如下：

可以看出，结果并没有太大区别。事实上，在建模过程中，很多模型的表现并不会像人们预期的一样好。不过由此也可以看出，基本上中文评论并没有突出的类别，游客基本以游览景观和建筑为主，并且游览时间大多为晚上。

英文文本类别数量中比较有意义的是3类主题，LDA 结果如下：

无论是情感分析还是文本分类，本质上都是通过将文本转化为数字，通常再进行监督学习。数字化文本的方法大致有三类，它们分别是本项目中使用的以词频为基础的词袋模型（Bag of Word）、独热编码（One Hot Encoding）和文本向量化（Word2Vec）；词袋模型中最富盛名的是 TF-IDF。这类任务都可以通过人工标注将分类结果传递给模型（如深度学习等），再通过训练结果选择合适的模型。这样的由用户自行训练的模型会更贴近项目需求，虽然开发周期长，但结果更精准。但在大数据时代，人工标注需要耗费大量的时间和资金，这就诞生了许多诸如 Cemotion 这样预先经历过大量文本训练的模型，供各类文本分析任务使用，大大降低了时间成本和使用门槛。

至此，我们就完成了对中英文 NLP 建模部分的介绍。文本分析与建模基本都围绕着词频和分类这两块内容展开，核心是通过“数字”来呈现大批量文本中的可用信息。而随着算法的发展，以神经网络为主的例如 transformer 这类语言模型成为了大热的话题，模型的用途从最初批量处理和分析文本数据，到现如今的虚拟客服、ChatGPT 等代替人工的应用，数据科学正在逐步融入人们的日常生活。如果大家对神经网络在语言上的应用感兴趣，请持续关注 Data Science Lab 的后续博文。

本文中部分数据来自互联网，如若侵权，请联系删除