MATLAB文本分析：13：使用深度学习对文本数据进行分类

此示例说明如何使用深度学习长短期记忆 (LSTM) 网络对文本数据进行分类。

文本数据自然是顺序的。一段文本是一系列单词，它们之间可能具有依赖关系。要学习和使用长期依赖关系对序列数据进行分类，请使用 LSTM 神经网络。LSTM 网络是一种循环神经网络 (RNN)，可以学习序列数据时间步长之间的长期依赖关系。

要将文本输入到 LSTM 网络，首先要将文本数据转换为数字序列。您可以使用将文档映射到数字索引序列的单词编码来实现此目的。为了获得更好的结果，还在网络中包含一个词嵌入层。词嵌入将词汇表中的词映射到数字向量而不是标量索引。这些嵌入捕获了单词的语义细节，因此具有相似含义的单词具有相似的向量。词嵌入还通过矢量算法对单词之间的关系进行建模。例如，“罗马之于意大利，巴黎之于法国”的关系可以用等式意大利 –罗马 + 巴黎 = 法国来描述。

本例中训练和使用LSTM网络有四个步骤：

导入工厂报告数据。此数据包含工厂事件的分词文本描述。要将文本数据作为字符串导入，请将文本类型指定为'string'.

此示例的目标是按Category列中的标签对事件进行分类。要将数据分类，请将这些标签转换为分类标签。

使用直方图查看数据中类的分布。

下一步是将其划分为用于训练和验证的集合。将数据划分区为训练集和留出集以进行验证和测试。将留出百分比指定为 20%。

从分区表中提取文本数据和标签。

要检查您是否已正确导入数据，请使用词云可视化训练文本数据。

创建一个对文本数据进行分词和预处理的函数。示例末尾列出的函数preprocessText执行以下步骤：

使用函数preprocessText，预处理训练数据和验证数据。

查看前几个预处理的训练文档。

要将文档输入 LSTM 网络，请使用单词编码将文档转换为数字索引序列。

使用函数wordEncoding创建单词编码。

下一个转换步骤是填充和截断文档，使它们的长度都相同。函数trainingOptions提供了自动填充和截断输入序列的选项。然而，这些选项不太适合词向量序列。相反，需要手动填充和截断序列。如果您左填充并截断词向量序列，那么训练可能会有所改善。

填充和截断文档，首先选择一个目标长度，然后截断比它长的文档和左填充比它短的文档。为获得最佳结果，目标长度应较短且不会丢弃大量数据。要找到合适的目标长度，请查看训练文档长度的直方图。

大多数训练文档的分词数少于 10 个，可以把这个数值作为截断和填充的目标长度。

使用doc2sequence将文档转换为数字索引序列。要截断或向左填充序列以使其长度为 10，请将选项'Length'设置为 10。

使用相同的选项将验证文档转换为序列。

定义 LSTM 网络架构。要将序列数据输入网络，包括一个序列输入层并将输入大小设置为 1。接下来，包含一个维度为 50 的词嵌入层和与单词编码相同数量的词。接下来，包含一个 LSTM 层并将隐藏单元数设置为 80。要将 LSTM 层用于序列-标签分类问题，请将输出模式设置为'last'。最后，添加一个与类数大小相同的全连接层、一个softmax层和一个分类层。

指定训练选项：

默认情况下，trainNetwork要使用到 GPU；如果没有GPU，就使用 CPU。要手动指定执行环境，请使用 trainingOptions的'ExecutionEnvironment'名称-值对参数。在 CPU 上训练比在 GPU 上训练花费的时间要长得多。使用 GPU 进行训练需要 Parallel Computing Toolbox™ 和受支持的 GPU 设备。

使用trainNetwork函数训练 LSTM 网络。

对三个新报告的事件类型进行分类。创建一个包含新报告的字符串数组。

使用预处理步骤，将预处理的文本数据用作训练文档。

使用doc2sequence，设置与创建训练序列时相同的选项，将文本数据转换为序列。

使用经过训练的 LSTM 网络对新序列进行分类。

函数preprocessText执行以下步骤：

注：本文根据MATLAB官网内容修改而成。