(12)发明专利申请
(10)申请公布号 CN 109446331 A(43)申请公布日 2019.03.08
(21)申请号 201811492975.5(22)申请日 2018.12.07
(71)申请人 华中科技大学
地址 430074 湖北省武汉市洪山区珞喻路
1037号(72)发明人 王邦 汪畅 徐明华 (74)专利代理机构 华中科技大学专利中心
42201
代理人 曹葆青 李智(51)Int.Cl.
G06F 16/35(2019.01)
权利要求书3页 说明书12页 附图5页
(54)发明名称
一种文本情绪分类模型建立方法及文本情绪分类方法(57)摘要
本发明公开了一种文本情绪分类模型建立方法及文本情绪分类方法，包括：对待分类文档进行分句操作，并分别获得每一个句子中所有单词的词向量；根据分句结果依次建立单词转化层、文档向量合成层以及输出层，从而完成文本情绪分类模型的建立；单词转化层包括M个树结构神经网络，与分句所得的M个句子一一对应，分别用于将句中单词的词向量转化为隐藏向量；文档向量合成层用于根据单词转化层转化所得的单词的隐藏向量得到待分类文档的文档向量；输出层用于将文档向量合成层得到的文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每个情绪类别上的概率。本发明通过融合句法信息、主题信息和语义信息，有效提高了文本情绪分类的准确度。
CN 109446331 ACN 109446331 A
权 利 要 求 书
1/3页
1.一种文本情绪分类模型建立方法，所述文本情绪分类模型用于预测待分类文档在每一个情绪类别上的概率，其特征在于，包括：
(1)对所述待分类文档进行分句操作，并分别获得每一个句子中所有单词的词向量；(2)根据分句结果依次建立单词转化层、文档向量合成层以及输出层，从而完成所述文本情绪分类模型的建立；
其中，所述单词转化层包括M个树结构神经网络，与分句所得的M个句子一一对应，分别用于将句中单词的词向量转化为隐藏向量；所述文档向量合成层用于根据所述单词转化层转化所得的单词的隐藏向量得到所述待分类文档的文档向量；所述输出层用于将所述文档向量合成层得到的文档向量映射为情绪概率分布并归一化，从而得到所述待分类文档在每个情绪类别上的概率。
2.如权利要求1所述的文本情绪模型建立方法，其特征在于，若分句所得的句子数M＝1，则所述步骤(2)包括：
对分句所得的句子S进行句法分析，以得到所述句子S的依存句法树T；基于所述依存句法树T建立树结构神经网络TN，从而得到由所述树结构神经网络TN构成的单词转化层，用于将所述句子S中每一个单词的词向量转化为对应的隐藏向量；
利用已训练好的主题模型TM得到所述待分类文档的主题概率分布p(k|d)和所述待分类文档中每个单词的主题概率分布p(k|wmn)，并根据所述主题概率分布p(k|d)和所述主题概率分布p(k|wmn)计算所述待分类文档中每个单词的注意力权重；根据单词的注意力权重建立所述文档向量合成层，用于对单词的隐藏向量进行加权求和以得到所述待分类文档的文档向量；
根据所述文档向量的维数和情绪类别数构建所述输出层，用于将所述文档向量映射为情绪概率分布并归一化，从而得到所述待分类文档在每一个情绪类别上的概率；
其中，d为所述待分类文档，k为主题编号，m为句子编号，n为单词编号，wmn表示第m个句子中的第n个单词。
3.如权利要求2所述的文本情绪模型建立方法，其特征在于，若分句所得的句子数M＞1，则所述文档向量合成层依次包括句子合成层、句子转化层以及文档合成层，且所述步骤(2)包括：
分别对分句所得的M个句子S1～SM进行句法分析，以得到所述句子S1～SM的依存句法树T1～TM；分别基于所述依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由所述树结构神经网络TN1～TNM构成的单词转化层，用于分别将所述句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；
利用所述主题模型TM得到所述待分类文档的主题概率分布p(k|d)和所述待分类文档中每个单词的主题概率分布p(k|wmn)，并根据所述主题概率分布p(k|d)和所述主题概率分布p(k|wmn)计算所述待分类文档中每个单词的注意力权重；根据单词的注意力权重建立所述句子合成层，用于对单词的隐藏向量进行加权求和以分别得到所述S1～SM的句子向量xs1～xsM；
根据所述句子向量xs1～xsM建立链式结构神经网络CN，从而得到由所述链式结构神经网络CN构成的句子转化层，用于将所述句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；
2
CN 109446331 A
权 利 要 求 书
2/3页
建立所述文档合成层，用于获得所述链式结构神经网络CN的末节点的隐藏向量hsM作为所述待分类文档的文档向量；
根据所述文档向量的维数和情绪类别数构建所述输出层，用于将所述文档向量映射为情绪概率分布并归一化，从而得到所述待分类文档在每一个情绪类别上的概率。
4.如权利要求2所述的文本情绪分类模型建立方法，其特征在于，若分句所得的句子数M＞1，则所述文档向量合成层依次包括句子合成层、句子转化层以及文档合成层，且所述步骤(2)包括：
分别对分句所得的M个句子S1～SM进行句法分析，以得到所述句子S1～SM的依存句法树T1～TM，并分别基于所述依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由所述树结构神经网络TN1～TNM构成的单词转化层，用于分别将所述句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；
建立所述句子合成层，用于分别获得所述依存句法树T1～TM的根节点的隐藏向量作为所述句子S1～SM的句子向量xs1～xsM；
根据所述句子向量xs1～xsM建立链式结构神经网络CN，从而得到由所述链式结构神经网络CN构成的句子转化层，用于将所述句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；
利用所述主题模型TM得到所述待分类文档的主题概率分布p(k|d)和每个主题下每个单词的概率p(wmn|k)，并根据所述主题概率分布p(k|d)和所述概率p(wmn|k)计算所述待分类文档中每个句子的注意力权重；根据句子的注意力权重建立所述文档合成层，用于对句子的隐藏向量进行加权求和以得到所述待分类文档的文档向量；
根据所述文档向量的维数和情绪类别数构建所述输出层，用于将所述文档向量映射为情绪概率分布并归一化，从而得到所述待分类文档在每一个情绪类别上的概率。
5.如权利要求1所述的文本情绪分类模型建立方法，其特征在于，所述输出层对情绪概率分布进行归一化的操作为softmax归一化。
6.一种文本情绪分类方法，其特征在于，包括：对于待分类文档，利用已训练好的节点参数，根据权利要求1-5任一项所述的文本情绪分类模型建立方法建立文本情绪分类模型，并利用所建立的文本情绪分类模型预测所述待分类文档在每一个情绪类别上的概率，以完成对所述待分类文档的文本情绪分类。
7.如权利要求6所述的文本情绪分类方法，其特征在于，所述节点参数的获取方法包括：
(S1)将语料库划分为训练集和测试集，并转入(S4)；所述语料库中每个文档的情绪类别已知；
(S2)对于文档Di，利用权利要求1-5任一项所述的文本情绪分类模型建立方法建立文本情绪分类模型，并利用所建立的文本情绪分类模型预测所述文档Di在每一个情绪类别上的概率；
(S3)根据所述文档Di的情绪类别和预测结果，调整所述文本情绪分类模型的节点参数，以最小化预先构建的损失函数；
(S4)依次对所述训练集中的文档执行步骤(S2)-(S3)，从而完成对所述文本情绪分类模型的训练并得到训练好的节点参数；
3
CN 109446331 A
权 利 要 求 书
3/3页
其中，i为文档编号。
8.如权利要求7所述的文本情绪分类方法，其特征在于，所述节点参数的获取方法还包括：根据训练好的节点参数依次对所述测试集中的文档执行步骤(S2)，并根据文档的情绪类别和预测结果对所述文本情绪分类模型进行测试，从而完成对所述节点参数的验证。
4
CN 109446331 A
说 明 书
1/12页
一种文本情绪分类模型建立方法及文本情绪分类方法
技术领域
[0001]本发明属于机器学习领域，更具体地，涉及一种文本情绪分类模型建立方法及文本情绪分类方法。
背景技术
[0002]随着互联网技术的快速发展和普及，人们每天会在网上接收大量的新闻文章或博客帖子，分析这些文章或帖子的情绪倾向就变得尤为重要，它可以帮助舆情管理者快速进行舆情监控和引导。除此之外，情绪分类可以在文章检索或文章推荐等方面发挥作用。针对情绪分类，现在已经开发出了多种技术，大致可以分为基于主题模型的方法，基于特征选择的方法和基于神经网络的方法。
[0003]基于主题模型的方法思想是借助主题模型(例如：LDA主题模型)提取出文档的主题信息，然后使文档的主题信息与文档对应的情绪关联起来，达到情绪分类的目的。基于特征选择的方法思想是用特征工程的手段抽取文档中有用的特征，如：词性特征、标签符号特征、情绪间的关系特征等等，然后利用机器学习中常见的分类器进行分类；近年来，随着神经网络在其他领域的深度应用，也开始有研究学者利用神经网络解决情绪分类问题。基于神经网络的方法思想是借助神经网络发现文档中词与词之间的关系，形成一种合适的文档特征向量，然后用分类器进行分类。目前常用的神经网络模型有CNN(卷积神经网络)和LSTM(长短期记忆网络)。其中，CNN的特点是可以有效提取文档的局部特征，LSTM作为一种序列模型，将文档看做一条有序序列，善于学习文档的前后文信息。[0004]基于主题模型和基于特征选择的方法具有模型简单、可解释性强、能有效利用传统文本特征的优点，但不足在于特征工程耗费人力、检测率不够高。基于神经网络的方法能深度挖掘文本语义信息，自己学习特征向量，获得较高检测率，但可解释性较差。另外，现有的工作大部分将传统的文本特征(如：主题)与神经网络学习的深度语义信息分离研究和使用，分类准确度不高。对于句法信息的利用，现有的研究中也较为缺乏。发明内容
[0005]针对现有技术的缺陷和改进需求，本发明提供了一种文本情绪分类模型建立方法及文本情绪分类方法，其目的在于，提高文本情绪分类的准确度。[0006]为实现上述目的，按照本发明的第一方面，提供了一种文本情绪分类模型建立方法，文本情绪分类模型用于预测待分类文档在每一个情绪类别上的概率，方法包括：[0007](1)对待分类文档进行分句操作，并分别获得每一个句子中所有单词的词向量；[0008](2)根据分句结果依次建立单词转化层、文档向量合成层以及输出层，从而完成文本情绪分类模型的建立；[0009]其中，单词转化层包括M个树结构神经网络，与分句所得的M个句子一一对应，分别用于将句中单词的词向量转化为隐藏向量；文档向量合成层用于根据单词转化层转化所得的单词的隐藏向量得到待分类文档的文档向量；输出层用于将文档向量合成层得到的文档
5
CN 109446331 A
说 明 书
2/12页
向量映射为情绪概率分布并归一化，从而得到待分类文档在每个情绪类别上的概率。[0010]在以上方法中，采用树结构神经网络将单词的词向量转化为对应的隐藏向量，使得文本情绪分类的过程融合了神经网络学习到的深度语义信息和句法信息，因此能够有效提高文本情绪分类的准确度。[0011]进一步地，若分句所得的句子数M＝1，则步骤(2)包括：[0012]对分句所得的句子S进行句法分析，以得到句子S的依存句法树T；基于依存句法树T建立树结构神经网络TN，从而得到由树结构神经网络TN构成的单词转化层，用于将句子S中每一个单词的词向量转化为对应的隐藏向量；[0013]利用已训练好的主题模型TM得到待分类文档的主题概率分布p(k|d)和待分类文档中每个单词的主题概率分布p(k|wmn)，并根据主题概率分布p(k|d)和主题概率分布p(k|wmn)计算待分类文档中每个单词的注意力权重；根据单词的注意力权重建立文档向量合成层，用于对单词的隐藏向量进行加权求和以得到待分类文档的文档向量；[0014]根据文档向量的维数和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率；[0015]其中，d为待分类文档，k为主题编号，m为句子编号，n为单词编号，wmn表示第m个句子中的第n个单词。
[0016]对于单句子文档，利用主题模型得到句子中各个单词的注意力权重，并根据单词的注意力权重对单词的隐藏向量进行加权求和，以得到文档的文档向量，使得文本情绪分类的过程在融合神经网络学习到的深度语义信息和句法信息的基础上，进一步融合主题信息，因此能够有效提高文本情绪分类的准确度。[0017]进一步地，若分句所得的句子数M＞1，则文档向量合成层依次包括句子合成层、句子转化层以及文档合成层，且步骤(2)包括：
[0018]分别对分句所得的M个句子S1～SM进行句法分析，以得到句子S1～SM的依存句法树T1～TM；分别基于依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由树结构神经网络TN1～TNM构成的单词转化层，用于分别将句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；[0019]利用主题模型TM得到待分类文档的主题概率分布p(k|d)和待分类文档中每个单词的主题概率分布p(k|wmn)，并根据主题概率分布p(k|d)和主题概率分布p(k|wmn)计算待分类文档中每个单词的注意力权重；根据单词的注意力权重建立句子合成层，用于对单词的隐藏向量进行加权求和以分别得到S1～SM的句子向量xs1～xsM；[0020]根据句子向量xs1～xsM建立链式结构神经网络CN，从而得到由链式结构神经网络CN构成的句子转化层，用于将句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；[0021]建立文档合成层，用于获得链式结构神经网络CN的末节点的隐藏向量hsM作为待分类文档的文档向量；
[0022]根据文档向量的维数和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率。[0023]进一步地，若分句所得的句子数M＞1，则文档向量合成层依次包括句子合成层、句子转化层以及文档合成层，且步骤(2)包括：
[0024]分别对分句所得的M个句子S1～SM进行句法分析，以得到句子S1～SM的依存句法树
6
CN 109446331 A
说 明 书
3/12页
T1～TM，并分别基于依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由树结构神经网络TN1～TNM构成的单词转化层，用于分别将句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；
[0025]建立句子合成层，用于分别获得依存句法树T1～TM的根节点的隐藏向量作为句子S1～SM的句子向量xs1～xsM；
[0026]根据句子向量xs1～xsM建立链式结构神经网络CN，从而得到由链式结构神经网络CN构成的句子转化层，用于将句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；[0027]利用主题模型TM得到待分类文档的主题概率分布p(k|d)和每个主题下每个单词的概率p(wmn|k)，并根据主题概率分布p(k|d)和概率p(wmn|k)计算待分类文档中每个句子的注意力权重；根据句子的注意力权重建立文档合成层，用于对句子的隐藏向量进行加权求和以得到待分类文档的文档向量；
[0028]根据文档向量的维数和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率。[0029]对于不同的文档，具体建立的模型结构不同：对于单句子文档，仅采用树结构神经网络，而不采用链式结构神经网络；对于多句子文档，同时采用树结构神经网络和链式结构神经网络；由此能够在保证在有效提高文本情绪分类的准确度的情况下，避免模型训练速度过慢。
[0030]对于多句子文档，在进行文本情绪分类的过程中，仅利用单词的注意力权重或句子的注意力权重合成文档向量，能够在保证在有效提高文本情绪分类的准确度的情况下，避免模型训练速度过慢。[0031]进一步地，输出层对情绪概率分布进行归一化的操作为softmax归一化。[0032]使用softmax归一化操作，能够平衡概率分布，同时避免出现概率为0的情况，使得模型可以不用再做平滑化处理。[0033]按照本发明的第二方面，提供了一种文本情绪分类方法，包括：对于待分类文档，利用已训练好的节点参数，根据本发明第一方面提供的文本情绪分类模型建立方法建立文本情绪分类模型，并利用所建立的文本情绪分类模型预测待分类文档在每一个情绪类别上的概率，以完成对待分类文档的文本情绪分类。[0034]进一步地，节点参数的获取方法包括：[0035](S1)将语料库划分为训练集和测试集，并转入(S4)；语料库中每个文档的情绪类别已知；[0036](S2)对于文档Di，利用本发明第一方面提供的文本情绪分类模型建立方法建立文本情绪分类模型，并利用文本情绪分类模型预测文档在每一个情绪类别上的概率；[0037](S3)根据文档Di的情绪类别和预测结果，调整文本情绪分类模型的节点参数，以最小化预先构建的损失函数；[0038](S4)依次对训练集中的文档执行步骤(S2)-(S3)，从而完成对文本情绪分类模型的训练并得到训练好的节点参数；[0039]其中，i为文档编号。[0040]进一步地，节点参数的获取方法还包括：根据训练好的节点参数依次对测试集中的文档执行步骤(S2)，并根据文档的情绪类别和预测结果对文本情绪分类模型进行测试，
7
CN 109446331 A
说 明 书
4/12页
从而完成对节点参数的验证。[0041]总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：[0042](1)本发明所提供的文本情绪分类方法，采用树结构神经网络将单词的词向量转化为对应的隐藏向量，使得文本情绪分类的过程融合了神经网络学习到的深度语义信息和句法信息，因此能够有效提高文本情绪分类的准确度。[0043](2)本发明所提供的文本情绪分类方法，对于单句子文档，利用主题模型得到文档中各个单词的注意力权重，对于多句子文档，则利用主题模型获得文档中各个单词的注意力权重或文档中各个句子的注意力权重，并利用单词的注意力权重或句子的注意力权重合成文档向量，由此使得文本情绪分类的过程在融合神经网络学习到的深度语义信息和句法信息的基础上，进一步融合主题信息，因此能够有效提高文本情绪分类的准确度。[0044](3)本发明所提供的文本情绪分类方法，对于单句子文档和多句子文档分别建立不同的文本情绪分类模型，并且对于多句子文档，建立文本情绪分类模型时，仅利用单词的注意力权重或句子的注意力权重，能够保证在有效提高文本情绪分类的准确度的情况下，避免模型训练速度过慢。[0045](4)本发明所提供的文本情绪分类方法，由于采用了主题模型，每个单词或句子的注意力权重大小可以被可视化，因此在进行文本情绪分类时更关注重视哪个单词或句子可以被清晰地展现出来，从而在一定程度上提升了模型的可解释性。附图说明
[0046]图1为本发明文本情绪分类模型建立方法实施例一的流程图；[0047]图2为本发明实施例提供的依存句法树的示意图；[0048]图3为现有的Tree-LSTM网络的内部结构图；
[0049]图4为本发明文本情绪分类模型建立方法实施例二的流程图；[0050]图5为现有的Chain-LSTM网络的内部结构图；
[0051]图6为本发明文本情绪分类模型建立方法实施例三的流程图；[0052]图7为本发明文本情绪分类方法实施例的流程图；
[0053]图8为本发明实施例提供的LDA主题模型学习到的部分主题的单词概率分布示意图；(a)-(c)分别为不同主题对应的单词概率分布示意图；
[0054]图9为本发明实施例提供的语料库中一篇文档对应的主题概率分布示意图；[0055]图10为本发明实施例提供的某篇文档中权重较高的单词示意图。
具体实施方式
[0056]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。[0057]按照本发明的第一方面，提供了一种文本情绪分类模型建立方法，通过本方法建立的文本情绪分类模型用于预测待分类文档在每一个情绪类别上的概率。[0058]如图1所示的方法实施例一，待分类文档为单句子文档时，本发明所提供的文本情
8
CN 109446331 A
说 明 书
5/12页
绪分类模型建立方法包括：[0059](1)对待分类文档进行分句操作，得到句子S，并获得句子S中各单词的词向量；[0060]在一个可选的实施方式中，可利用已训练好的词向量模型获得句子中各单词的词向量；所使用的词向量模型可为Word2vec词向量模型，也可使用其他词向量模型；[0061]单词的词向量表现形式是如下：
[0062]
其中，m为句子编号，n为单词编号，xwmn表示第m个句子的第n个单词的词向量，x表
示词向量的值，dw表示词向量的维度；[0064](2)对句子S进行句法分析，以得到句子S的依存句法树T；基于依存句法树T建立树结构神经网络TN，从而得到由树结构神经网络TN构成的单词转化层，用于将句子S中每一个单词的词向量转化为对应的隐藏向量；
[0065]依存句法树描述了各个单词之间的句法依赖关系，图2所示为现有的一个依存句法树实例，基于依存句法树建立树结构神经网络，可以将在句法上有关系的单词结合形成词组特征向量，对于挖掘深度语义信息有重要作用；[0066]在本发明实施例中，所使用的树结构神经网络为Tree-LSTM，Tree-LSTM的内部结构如图3所示，其转化函数如下：[0067]f1＝σ(W(f)x3+U(f)h1+b(f))[0068]f2＝σ(W(f)x3+U(f)h2+b(f))[0069]i3＝σ(W(i)x3+U(i)(h1+h2)+b(i))[0070]o3＝σ(W(o)x3+U(o)(h1+h2)+b(o))[0071]u3＝tanh(W(u)x3+U(u)(h1+h2)+b(u))[0072]c3＝i3⊙u3+(f1⊙c1+f2⊙c2)[0073]h3＝o3⊙tanh(c3)[0074]其中，x3表示当前父节点输入的词向量，h1,h2分别为孩子1和孩子2的隐藏向量，c1,c2为孩子1和孩子2的细胞状态，f,i,o分别为忘记门、输入门和输出门，⊙表示点乘运算；[0075]利用上述转化函数，即可将各单词的词向量转化为对应的隐藏向量；单词的隐藏向量表示形式如下；
[0076][0077]
[0063]
其中，m为句子编号，n为单词编号，hwmn表示第m个句子的第n个单词的隐藏向量，h
表示隐藏向量的值，dm表示隐藏向量的维度；[0078]应当理解的是，本发明也可采用其他树结构的神经网络实现单词转化层；[0079](3)利用已训练好的主题模型TM得到待分类文档的主题概率分布p(k|d)和待分类文档中每个单词的主题概率分布p(k|wmn)；在本发明实施例中，所采用的主题模型TM可为LDA主题模型；
[0080]计算主题概率分布p(k|d)和主题概率分布p(k|wmn)之间的余弦相似度为：
[0081]
[0082]
将余弦相似度在各个句子中进行softmax归一化，将归一化后的值作为单词的注
9
CN 109446331 A
说 明 书
6/12页
意力权重，计算公式如下；
[0083][0084]
根据单词的注意力权重建立文档向量合成层，用于对单词的隐藏向量进行加权求和以得到待分类文档的文档向量为：
[0085]
其中，d为待分类文档，k为主题编号，m为句子编号，n和n'均为单词编号，wmn表示第
m个句子中的第n个单词，N为句子中的单词总数；[0087]应当理解的是，本发明也可采用其他主题模型获得相应的主题概率分布；[0088](4)根据文档向量的维度和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率；用公式表示如下：[0089]l＝W·yd
[0090][0091]
[0086]
其中，l是文档向量映射所得的情绪概率分布，W是权重参数矩阵，E是情绪类别数，
是文档在第i个情绪类别上的概率值。
对于单句子文档，利用主题模型得到句子中各个单词的注意力权重，并根据单词
的注意力权重对单词的隐藏向量进行加权求和，以得到文档的文档向量，使得文本情绪分类的过程在融合神经网络学习到的深度语义信息和句法信息的基础上，进一步融合主题信息，因此能够有效提高文本情绪分类的准确度。[0093]如图4所示的方法实施例二，待分类文档为多句子文档时，本发明所提供的文本情绪分类模型建立方法包括：[0094](1)对待分类文档进行分句操作，得到M个句子S1～SM，并分别获得每一个句子中所有单词的词向量；
[0095]获得单词的词向量的具体实施方式，可参考上述方法实施例一中的描述；[0096](2)分别对分句所得的M个句子S1～SM进行句法分析，以得到句子S1～SM的依存句法树T1～TM；
[0097]分别基于依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由树结构神经网络TN1～TNM构成的单词转化层，用于分别将句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；在本发明实施例中，所采用的树结构神经网络为Tree-LSTM，应当理解的是，也可采用其他树结构神经网络；[0098](3)利用主题模型TM得到待分类文档的主题概率分布p(k|d)和待分类文档中每个单词的主题概率分布p(k|wmn)；在本发明实施例中，所采用的主题模型为LDA主题模型，应当理解的是，也可采用其他主题模型；
[0099]计算主题概率分布p(k|d)和主题概率分布p(k|wmn)之间的余弦相似度为：
[0100][0101][0092]
将余弦相似度在各个句子中进行softmax归一化，将归一化后的值作为单词的注
10
CN 109446331 A
说 明 书
7/12页
意力权重，计算公式如下；
[0102]
根据单词的注意力权重建立句子合成层，用于对单词的隐藏向量进行加权求和以分别得到S1～SM的句子向量xs1～xsM；其中，第m个句子的句子向量为：
[0104]
[0103]
(4)根据句子向量xs1～xsM建立链式结构神经网络CN，从而得到由链式结构神经网络CN构成的句子转化层，用于将句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；[0106]在本发明实施例中，所采用的链式结构神经网络为Chain-LSTM，Chain-LSTM的内部结构如图5所示，其转化函数如下：[0107]f＝σ(W(f)st+U(f)ht-1+b(f))[0108]i＝σ(W(i)st+U(i)ht-1+b(i))[0109]o＝σ(W(o)st+U(o)ht-1+b(o))[0110]ut＝tanh(W(u)st+U(u)ht-1+b(u))[0111]ct＝i⊙ut+f⊙ct-1[0112]ht＝o⊙tanh(ct)[0113]其中，st表示t时刻的句子向量，ht和ht-1分别表示t时刻和t-1时刻的隐藏向量，ct和ct-1分别表示t时刻和t-1时刻的细胞状态；[0114]通过上述转化函数，即可将句子向量转化为对应的隐藏向量；[0115]应当理解的是，本发明也可采用其他链式结构神经网络实现句子转化层；[0116](5)建立文档合成层，用于获得链式结构神经网络CN的末节点的隐藏向量hsM作为待分类文档的文档向量；[0117]上述句子合成层、句子转化层及文档合成层共同构成文本情绪分类模型的文档向量合成层；[0118](6)根据文档向量的维度和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率；[0119]建立输出层的具体实施方式，可参考上述方法实施例一中的描述。[0120]如图6所示的方法实施例三，待分类文档为多句子文档时，本发明所提供的文本情绪分类模型建立方法包括：[0121](1)对待分类文档进行分句操作，得到M个句子S1～SM，并分别获得每一个句子中所有单词的词向量；
[0122]获得单词的词向量的具体实施方式，可参考上述方法实施例一中的描述；[0123](2)分别对分句所得的M个句子S1～SM进行句法分析，以得到句子S1～SM的依存句法树T1～TM；
[0124]分别基于依存句法树T1～TM建立树结构神经网络TN1～TNM，从而得到由树结构神经网络TN1～TNM构成的单词转化层，用于分别将句子S1～SM中每一个单词的词向量转化为对应的隐藏向量；在本发明中，所采用的树结构神经网络为Tree-LSTM，应当理解的是，也可采用其他树结构神经网络；
11
[0105]
CN 109446331 A[0125]
说 明 书
8/12页
(3)建立句子合成层，用于分别获得依存句法树T1～TM的根节点的隐藏向量作为句
子S1～SM的句子向量xs1～xsM；[0126](4)根据句子向量xs1～xsM建立链式结构神经网络CN，从而得到由链式结构神经网络CN构成的句子转化层，用于将句子向量xs1～xsM分别转化为对应的隐藏向量hs1～hsM；在本发明实施例中，所采用的链式结构神经网络为Chain-LSTM，应当理解的是，也可采用其他链式结构神经网络；[0127](5)利用主题模型TM得到待分类文档的主题概率分布p(k|d)和每个主题下每个单词的概率p(wmn|k)；
[0128]根据主题概率分布p(k|d)和概率p(wmn|k)分别计算各句子的主题概率分布；其中，第m个句子sm的主题概率分布p(k|sm)为：
[0129]
[0130][0131]
其中，Nm表示句子sm中的单词数；
计算主题概率分布p(k|sm)和主题概率分布p(k|d)之间的余弦相似度sim(sm,d)
为：
[0132]
[0133][0134][0135][0136]
其中，IR表示信息半径，KL表示KL距离；将sim(sm,d)在文档中softmax归一化，得到句子sm的注意力权重大小为：
根据各句子的注意力权重建立文档合成层，用于对句子的隐藏向量进行加权求和
以得到待分类文档的文档向量为：
[0138]
[0137]
由上述句子合成层、句子转化层及文档合成层构成文本情绪分类模型的文档向量
合成层；[0140](6)根据文档向量的维数和情绪类别数构建输出层，用于将文档向量映射为情绪概率分布并归一化，从而得到待分类文档在每一个情绪类别上的概率；[0141]建立输出层的具体实施方式，可参考上述方法实施例一中的描述。[0142]对于不同的文档，具体建立的模型结构不同：对于单句子文档，仅采用树结构神经网络，而不采用链式结构神经网络；对于多句子文档，同时采用树结构神经网络和链式结构神经网络；由此能够在保证在有效提高文本情绪分类的准确度的情况下，避免模型训练速度过慢。
[0143]对于多句子文档，在进行文本情绪分类的过程中，仅利用单词的注意力权重或句
12
[0139]
CN 109446331 A
说 明 书
9/12页
子的注意力权重合成文档向量，能够在保证在有效提高文本情绪分类的准确度的情况下，避免模型训练速度过慢。
[0144]在以上方法实施例中，输出层对情绪概率分布进行归一化的操作为softmax归一化；使用softmax归一化操作，能够平衡概率分布，同时避免出现概率为0的情况，使得模型可以不用再做平滑化处理。
[0145]基于上述方法实施例，本发明还提供了一种文本情绪分类方法，用于实现对待分类文档的文本情绪分类，如图7所示，包括：对于待分类文档，利用已训练好的节点参数，根据本发明第一方面提供的文本情绪分类模型建立方法建立文本情绪分类模型，并利用所建立的文本情绪分类模型预测待分类文档在每一个情绪类别上的概率，以完成对待分类文档的文本情绪分类。
[0146]在一个可选的实施方式中，上述文本情绪分类方法中已训练好的节点参数为通过模型训练获取到的节点参数，节点参数的获取方法具体包括：[0147](S1)将语料库划分为训练集和测试集，并转入(S4)；语料库中每个文档的情绪类别已知；[0148](S2)对于文档Di，利用本发明第一方面提供的文本情绪分类模型建立方法建立文本情绪分类模型，并利用文本情绪分类模型预测文档在每一个情绪类别上的概率；[0149](S3)根据文档Di的情绪类别和预测结果，使用BP算法调整文本情绪分类模型的节点参数，以最小化预先构建的损失函数；
[0150]
在本发明实施例中，预先构建的损失函数为基于预测的情绪概率分布和真实的
情绪概率分布y构建KL散度损失函数，其表达式为：
[0151][0152]
其中，为预测结果，是文档在第i个情绪类别上的预测概率值，yi是文档在第i
个情绪类别上的真实概率值；[0153](S4)依次对训练集中的文档执行步骤(S2)-(S3)，从而完成对文本情绪分类模型的训练并得到训练好的节点参数；[0154]其中，i为文档编号；
[0155]节点参数的获取方法还包括：根据训练好的节点参数依次对测试集中的文档执行步骤(S2)，并根据文档的情绪类别和预测结果对文本情绪分类模型进行测试，从而完成对节点参数的验证。[0156]应用实例
[0157]以新浪新闻数据集作为训练语料库，用于训练模型以获取训练好的节点参数；树结构神经网络采用Tree-LSTM网络，链式结构神经网络采用Chain-LSTM网络；词向量模型采用中文维基百科数据库训练好的Word2vec词向量模型；主题模型采用由整个新浪新闻数据集训练好的LDA主题模型。新浪新闻数据集收集自新浪新闻(https://news.sina.com.cn/)的社会频道，包含从2016年1月到12月发布的总共5258篇热点新闻。每篇新闻后有6类情绪标签供读者投票，分别是：感动、愤怒、同情、悲伤、惊讶和新奇。表1示出详细的投票统计结果，其中，训练集为数据集中前3109条数据，测试集为后2149条数据。
13
CN 109446331 A
说 明 书
10/12页
[0158]
[0159][0160]
表1
表2示出了文档情绪分类过程中相关参数的设定结果。
[0161]
表2
[0163]图8以词云形式示出LDA主题模型学习到的部分主题的单词概率分布情况。其中，单词越大表示出现的概率越高。从图中可以看出，主题3主要与“快递”、“医院”、“电话”等有关，主题9主要与“志愿”、“医院”、“日本”等有关，主题24主要与“学校”、“老师”、“学生”等有关。
[0164]图9示出新浪新闻数据集中某一篇文档对应的主题概率分布，文档原文：“家长接通知需交千元慰问老师校方称与学校无关…今年暑期，学校曾组织高三学生补过一段时间的课，开学后在周末以及每天晚自习10时过后也有补课…在记者出示了12日上午拍摄的家长们在402教室公然收钱的画面后，市二中肖姓高三年级组长说，当日家长的收钱活动，最后给驱散了。而朱年生、吴辉军解释，可能是部分家长不听‘招呼’。朱年生坦言，‘如有家长已经交纳这笔钱，交给谁了就找谁退回。这笔钱，学校任何老师都不会接受。’14日下午，邵姓家长承诺，回去后将与其他家长委员会的成员沟通，并将已收到的钱款全部退还给家长。”
[0165]从图9可以看出，该篇文档的主题主要分布在主题9和主题24上，再结合图8，容易看出该篇文档的内容主要与“学生”，“学校”，“老师”，“家长”有关，与直接阅读文档获得的直观感受一致，说明LDA主题模型能有效提取出文档的主题信息，这也对文本情绪分类过程
14
[0162]
CN 109446331 A
说 明 书
11/12页
中融合主题信息起到了关键作用。
[0166]图10示出了某篇文档中注意力权重较高的单词。从图10可以看出，通过融合主题信息，系统有效捕捉到了文档中重要的主题词，如：“受挫”，“心灰意冷”等。这也在一定程度上解释了本发明提出的方法的优越性。
[0167]为验证本发明能够有效提高文本情绪分类的准确性，分别测试使用以下6种模型(a)-(f)进行文本情绪分类的准确性。模型(a)-(f)为本发明实施例提供的文本情绪分类模型，或者在本发明实施例所提供的文本情绪分类模型的基础上稍作修改后形成的模型。模型(a)-(f)是：[0168](a)通过图4所示的方法实施例二建立的模型；[0169](b)通过图6所示的方法实施例三建立的模型；[0170](c)在模型(a)的基础上修改句子合成层，使得句子合成层直接获得单词转化层中各Tree-LSTM的根节点的隐藏向量作为对应句子的句子向量，其余结构不变；[0171](d)在模型(a)的基础上修改单词转化层，将单词转化层中的Tree-LSTM替换为Chain-LSTM，用单词的注意力权重对Chain-LSTM各个节点的隐藏向量加权求和获得对应的句子向量，其余结构不变；[0172](e)在模型(b)的基础上修改单词转化层，将单词转化层中的Tree-LSTM替换为Chain-LSTM，句子向量为对应Chain-LSTM网络最后一个节点的隐藏向量，其余结构不变；[0173](f)在模型(c)的基础上修改单词转化层，将单词转化层中的Tree-LSTM替换为Chain-LSTM，句子向量为对应Chain-LSTM网络最后一个节点的隐藏向量，其余结构不变。[0174]另外，目前在此新浪新闻数据集上表现得最好的两个模型为Social Opinion Mining model和Emotion-topic model，分别记为模型(g)和模型(h)。[0175]表3示出了使用模型(a)-(h)的情绪分类准确度，从表中可以看出，使用模型(b)相比使用其他模型具有较高的情绪分类性能，且与现有最好的模型(g和h)相比，具有较为明显的优势。将模型(a)、模型(b)与模型(c)，或模型(d)、模型(e)与模型(f)比较，结果证明融合主题信息能够促进情绪分类准确度的提升；虽然方案(a)与方案(d)相比，前者略低于后者，但差距不大，且在整体上，使用树形句法神经网络的方案优于使用链式结构神经网络的方案(如：b优于e，c优于f)，所以可以说使用树形句法神经网络对于提升文本情绪分类的准确度比链式结构神经网络更有效。
[0176]
模型abcdefgh
[0177]
准确度63.64％65.50％62.57％63.73％63.31％61.69％58.59％54.19％
表3
15
CN 109446331 A[0178]
说 明 书
12/12页
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以
限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
16
CN 109446331 A
说 明 书 附 图
1/5页
图1
图2
17
CN 109446331 A
说 明 书 附 图
2/5页
图3
图4
图5
18
CN 109446331 A
说 明 书 附 图
3/5页
图6
图7
19
CN 109446331 A
说 明 书 附 图
4/5页
图8
图9
20
CN 109446331 A
说 明 书 附 图
5/5页
图10
21
因篇幅问题不能全部显示，请点此查看更多更全内容