(12)发明专利申请
(10)申请公布号 CN 107844870 A(43)申请公布日 2018.03.27
(21)申请号 201711281809.6(22)申请日 2017.12.07
(71)申请人 中国科学院合肥物质科学研究院
地址 230031 安徽省合肥市蜀山湖路350号(72)发明人 王儒敬 贾秀芳 谢成军 李伟
鲁翠萍 胡海瀛 王雪 (74)专利代理机构 合肥国和专利代理事务所
(普通合伙) 34131
代理人 张祥骞(51)Int.Cl.
G06Q 10/04(2012.01)G06Q 50/02(2012.01)G06N 3/04(2006.01)
权利要求书4页 说明书8页 附图1页
(54)发明名称
基于Elman神经网络模型的土壤重金属含量预测方法(57)摘要
本发明涉及基于Elman神经网络模型的土壤重金属含量预测方法,与现有技术相比解决了未考虑重金属在土壤中的迁移习性致使难以准确预测土壤重金属含量的缺陷。本发明包括以下步骤：样本数据的获取和预处理；构造基于堆栈自编码网络的Elman神经网络预测分析模型；对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练；基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练；土壤重金属含量的预测分析。本发明利用充分考虑土壤重金属含量迁移特性而改进的Elman神经网络模型进行分析预测，保证了土壤中重金属元素预测的精度。
CN 107844870 ACN 107844870 A
权 利 要 求 书
1/4页
1.一种基于Elman神经网络模型的土壤重金属含量预测方法，其特征在于，包括以下步骤：
11)样本数据的获取和预处理，将采集的土壤样本划分为训练样本和测试样本，利用LIBS技术获取训练样本中土壤的光谱数据形成训练数据，将训练数据分为标签数据和无标签数据；
12)构造基于堆栈自编码网络的Elman神经网络预测分析模型；
13)对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练，利用无标签数据对基于堆栈自编码网络的Elman神经网络预测分析模型的堆栈自编码网络进行无监督训练；
14)基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练，将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取，将已提取特征后预处理的标签数据和土壤重金属含量的历史数据输入基于堆栈自编码网络的Elman神经网络预测分析模型，对Elman神经网络预测分析模型进行有监督训练；
15)土壤重金属含量的预测分析，将土壤重金属含量的历史数据和测试样本的LIBS光谱数据处理后输入基于堆栈自编码网络的Elman神经网络预测分析模型中，完成对测试样本的土壤重金属含量的动态分析预测。
2.根据权利要求1所述的基于Elman神经网络模型的土壤重金属含量预测方法，其特征在于，所述构造基于堆栈自编码网络改进的Elman神经网络预测分析模型包括以下步骤：
21)构建包括编码器和解码器的堆栈自编码网络，堆栈自编码网络包括多层神经网络模型，依次为一层输入层、多层隐藏层、一层输出层；
22)构建Elman神经网络，Elman神经网络依次包括输入层、隐藏层、作为输出层节点反馈的承接层和拥有动态回归神经网络模型的输出层；
23)将训练样本的无标签数据作为堆栈自编码网络第一层输入层的输入，堆栈自编码网络第一层输入层的输出作为第二层隐藏层的输入，上一层隐藏层的输出作为下一层隐藏层的输入，最后一层隐藏层的输出作为输出层的输入，堆栈自编码网络第一层输入层的隐层单元为n1、第二层隐藏层的隐层单元为n2、第三层隐藏层的隐层单元为n3、第X层隐藏层的隐层单元为nx、最后一层输出层的隐层单元为nt；
24)将堆栈自编码网络最后一层输出层的的表征输出数据作为Elman神经网络输入层的输入；
25)将堆栈自编码网络和Elman神经网络堆叠形成基于堆栈自编码的Elman神经网络模型。
3.根据权利要求1所述的基于Elman神经网络模型的土壤重金属含量预测方法，其特征在于，所述对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练包括以下步骤：
31)获取无标签数据X＝{x1,x2,...,xr}，将xi∈Rn×1作为堆栈自编码网络的第i个输入向量，输入到具有d个神经元的编码器；编码器通过非线性激活函数f得到编码zi∈Rd×1，其计算表达式如下：
zi＝sf(Wxi+b1)，其中，W∈Rd×n是权重矩阵，b1∈Rd×1是编码层偏置向量；
2
CN 107844870 A
权 利 要 求 书
其计算表达式如下：
2/4页
32)将zi输入到解码器，得到解码结果
其中，sg为解码器的激活函数，层偏置向量；
33)通过最小化重构
WT∈Rn×d是权重矩阵W的装置，b2∈Rn×1是解码
与原始输入数据xi,之间的误差代价进行特征提取，采用梯度下
得到所提取的特征，使得
之间的误
降法更新训练层与层之间的权值差达到最小值，其代价函数如下：
4.根据权利要求1所述的基于Elman神经网络模型的土壤重金属含量预测方法，其特征在于，所述基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练包括以下步骤：
41)将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取；42)获取土壤重金属含量的历史数据；
43)将Elman神经网络预测分析模型定义如下：
其中，k为Elman神经网络的训练次数，y为输出向量，x为隐藏神经元输出向量，u为输入向量，yc为记忆输出层单元所反馈的前一时刻输出值，0≤α≤1为自连接反馈增益因子，W3、W2、W1分别为隐藏层到输出层、承接层到输出层、输入层到隐藏层的连接权值矩阵，f()和g()分别为隐藏层单元和输出层单元的激发函数所组成的非线性向量函数；
44)对Elman神经网络预测分析模型的参数进行调整，
设第k次实际的输出为误差指数函数为
分别计算E(k)对权值W3、W2、W1的偏导数并使其为0，得到改进的Elman神经网络预测分析模型训练方法；
441)将E(k)对隐藏层到输出层的连接权值W3求偏导，其计算如下：
3
CN 107844870 A
权 利 要 求 书
3/4页
其中，
令
442)将E(k)对隐藏层到输出层的连接权值W2求偏导，其计算如下：
不考虑yc,i(k)对的依赖，
443)将E(k)对隐藏层到输出层的连接权值W1求偏导，其计算如下：
45)将提取特征后的标签数据和土壤重金属含量的历史数据输入Elman神经网络预测分析模型进行参数调整，对Elman神经网络预测分析模型进行训练。
5.根据权利要求1所述的基于Elman神经网络模型的土壤重金属含量预测方法，其特征在于，所述土壤重金属含量的预测分析包括以下步骤：
51)将测试样本的LIBS光谱数据输入到堆栈自编码网络进行特征提取；
52)将提取特征后的预处理数据以及重金属含量的历史数据输入到改进Elman神经网
4
CN 107844870 A
权 利 要 求 书
4/4页
络模型中，进行对测试样本土壤重金属含量的分析预测。
5
CN 107844870 A
说 明 书
基于Elman神经网络模型的土壤重金属含量预测方法
1/8页
技术领域
[0001]本发明涉及土壤数据分析技术领域，具体来说是基于Elman神经网络模型的土壤重金属含量预测方法。
背景技术
[0002]土壤重金属污染问题已成为我国广泛关注的重大农业生态环境问题,对现代农业和社会经济的可持续发展、农业生态环境安全和农产品质量安全构成了严重威胁。十多年的科学研究和大量的实践证明，由于我国农业生态环境的特殊性，照搬国外技术以及理论无法切实解决我国农业领域所面临的重大环境和科学问题，难以有效地遏制农业环境污染和日趋加剧的发展态势。
[0003]国内现有土壤重金属检测方法主要为现场采样、实验室分析，该检测方法虽然能获得准确的重金属含量，但样品前处理较为繁琐、检测周期长、需要耗费大量的人力物力，可能会造成二次污染。由于我国国土面积之大，若要进行采集大量样本进行具体分析，难以实现土壤中重金属成分的自动化、智能化、综合化和精准化的快速检测。[0004]激光诱导击穿光谱法(LIBS)具有几乎无需样品预处理、可同时对多种元素进行分析、检测时间短等特点，适用于土壤中重金属的快速检测。而在实际分析中发现，大量的高维土壤样本和土壤砷、镉、铅等重金属在时间上存在迁移问题，若不能充分考虑重金属在土壤中的迁移习性，则无法准确实现土壤重金属含量的准确预测。[0005]因此，如何利用LIBS技术实现土壤重金属含量的准备预测已经成为急需解决的技术问题。
发明内容
[0006]本发明的目的是为了解决现有技术中未考虑重金属在土壤中的迁移习性致使难以准确预测土壤重金属含量的缺陷，提供一种基于Elman神经网络模型的土壤重金属含量预测方法来解决上述问题。[0007]为了实现上述目的，本发明的技术方案如下：
[0008]基于Elman神经网络模型的土壤重金属含量预测方法，包括以下步骤：[0009]样本数据的获取和预处理，将采集的土壤样本划分为训练样本和测试样本，利用LIBS技术获取训练样本中土壤的光谱数据形成训练数据，将训练数据分为标签数据和无标签数据；
[0010]构造基于堆栈自编码网络的Elman神经网络预测分析模型；
[0011]对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练，利用无标签数据对基于堆栈自编码网络的Elman神经网络预测分析模型的堆栈自编码网络进行无监督训练；
[0012]基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练，将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取，将已提取特征后预处理的
6
CN 107844870 A
说 明 书
2/8页
标签数据和土壤重金属含量的历史数据输入基于堆栈自编码网络的Elman神经网络预测分析模型，对Elman神经网络预测分析模型进行有监督训练；[0013]土壤重金属含量的预测分析，将土壤重金属含量的历史数据和测试样本的LIBS光谱数据处理后输入基于堆栈自编码网络的Elman神经网络预测分析模型中，完成对测试样本的土壤重金属含量的动态分析预测。
[0014]所述构造基于堆栈自编码网络改进的Elman神经网络预测分析模型包括以下步骤：
[0015]构建包括编码器和解码器的堆栈自编码网络，堆栈自编码网络包括多层神经网络模型，依次为一层输入层、多层隐藏层、一层输出层；[0016]构建Elman神经网络，Elman神经网络依次包括输入层、隐藏层、作为输出层节点反馈的承接层和拥有动态回归神经网络模型的输出层；
[0017]将训练样本的无标签数据作为堆栈自编码网络第一层输入层的输入，堆栈自编码网络第一层输入层的输出作为第二层隐藏层的输入，上一层隐藏层的输出作为下一层隐藏层的输入，最后一层隐藏层的输出作为输出层的输入，堆栈自编码网络第一层输入层的隐层单元为n1、第二层隐藏层的隐层单元为n2、第三层隐藏层的隐层单元为n3、第X层隐藏层的隐层单元为nx、最后一层输出层的隐层单元为nt；
[0018]将堆栈自编码网络最后一层输出层的的表征输出数据作为Elman神经网络输入层的输入；
[0019]将堆栈自编码网络和Elman神经网络堆叠形成基于堆栈自编码的Elman神经网络模型。
[0020]所述对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练包括以下步骤：
[0021]获取无标签数据X＝{x1,x2,...,xr}，将xi∈Rn×1作为堆栈自编码网络的第i个输入向量，输入到具有d个神经元的编码器；编码器通过非线性激活函数f得到编码zi∈Rd×1，其计算表达式如下：
[0022]zi＝sf(Wxi+b1)，[0023]其中，W∈Rd×n是权重矩阵，b1∈Rd×1是编码层偏置向量；
[0024][0025][0026]
将zi输入到解码器，得到解码结果其计算表达式如下：
其中，sg为解码器的激活函数，
WT∈Rn×d是权重矩阵W的装置，b2∈Rn×1是
解码层偏置向量；
[0027]通过最小化重构与原始输入数据xi,之间的误差代价进行特征提取，采用梯度下降法更新训练层与层之间的权值误差达到最小值，其代价函数如下：
[0028]
得到所提取的特征，使得之间的
7
CN 107844870 A[0029]
说 明 书
3/8页
所述基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练包括以
下步骤：
[0030]将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取；[0031]获取土壤重金属含量的历史数据；
[0032]将Elman神经网络预测分析模型定义如下：
[0033]
[0034]
其中，k为Elman神经网络的训练次数，y为输出向量，x为隐藏神经元输出向量，u为
输入向量，yc为记忆输出层单元所反馈的前一时刻输出值，0≤α≤1为自连接反馈增益因子，W3、W2、W1分别为隐藏层到输出层、承接层到输出层、输入层到隐藏层的连接权值矩阵，f()和g()分别为隐藏层单元和输出层单元的激发函数所组成的非线性向量函数；[0035]对Elman神经网络预测分析模型的参数进行调整，
[0036]
设第k次实际的输出为误差指数函数为
[0037][0038]
分别计算E(k)对权值W3、W2、W1的偏导数并使其为0，得到改进的Elman神经网络预
测分析模型训练方法；
[0039]将E(k)对隐藏层到输出层的连接权值W3求偏导，其计算如下：
[0040]
[0041]其中，
[0042][0043][0044]
令
将E(k)对隐藏层到输出层的连接权值W2求偏导，其计算如下：
8
CN 107844870 A[0045]
说 明 书
的依赖，
4/8页
不考虑yc,i(k)对
[0046]
[0047]
将E(k)对隐藏层到输出层的连接权值W1求偏导，其计算如下：
[0048]
将提取特征后的标签数据和土壤重金属含量的历史数据输入Elman神经网络预测
分析模型进行参数调整，对Elman神经网络预测分析模型进行训练。[0050]所述土壤重金属含量的预测分析包括以下步骤：
[0051]将测试样本的LIBS光谱数据输入到堆栈自编码网络进行特征提取；
[0052]将提取特征后的预处理数据以及重金属含量的历史数据输入到改进Elman神经网络模型中，进行对测试样本土壤重金属含量的分析预测。[0053]有益效果
[0054]本发明的基于Elman神经网络模型的土壤重金属含量预测方法，与现有技术相比利用充分考虑土壤重金属含量迁移特性而改进的Elman神经网络模型进行分析预测，保证了土壤中重金属元素预测的精度。
[0055]本发明利用堆栈自编码网络对通过LIBS技术获得的土壤光谱数据进行特征提取；将特征数据、土壤重金属含量数据以及重金属含量的历史数据作为改进的Elman神经网络模型的输入，构造出土壤重金属含量的预测模型，充分利用了Elman神经网络具有的动态特性，有效解决土壤中重金属含量随着时间迁移而变化的预测复杂问题。[0056]为了避免Elman神经网络有太多的特征变量输入时，妨碍网络的收敛，影响预测精度，特利用堆栈自编码网络从大量的特征变量中提取出关键的特征。考虑到土壤中重金属含量随着时间迁移而变化，为提高预测模型的准确性，利用改进的Elman神经网络动态模型代替传统的BP预测模型，对Elman神经网络动态模型进行了基于历史土壤中重金属含量的数据的元素融入。本发明具有预测精度高、预测响应速度快的特点。附图说明
[0057]图1为本发明的方法顺序图。具体实施方式
9
[0049]
CN 107844870 A[0058]
说 明 书
5/8页
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的
实施例及附图配合详细的说明，说明如下：[0059]如图1所示，本发明所述的基于Elman神经网络模型的土壤重金属含量预测方法，包括以下步骤：[0060]第一步，样本数据的获取和预处理。将采集的土壤样本划分为训练样本和测试样本，利用LIBS技术获取训练样本中土壤的光谱数据形成训练数据。利用传统的化学方法检测确定训练数据的重金属含量，将其归为标签数据，将训练数据分为标签数据和无标签数据。
[0061]采集的土壤均经过去杂、风干处理、研磨、过筛、称取、编号等工序后，装袋进行密封保存；利用压片机制作成厚度均匀的圆柱形土壤样品；利用激光器作用于土壤样品表面，土壤样品被激发后在表面形成一层等离子体区域，用光谱仪采集等离子体信号，获取土壤样品中各种元素的特征谱线，即光谱数据进行收集。[0062]第二步，构造基于堆栈自编码网络的Elman神经网络预测分析模型。[0063]在此，考虑到Elman神经网络所特有的动态特性，能够较好地应用于土壤重金属含量迁移，特选用Elman神经网络代替传统的BP神经网络。但在Elman神经网络中，若输入特征变量较大，则会影响收敛速度，甚至影响预测结果。因此，在Elman神经网络上加入堆栈自编码网络，使得Elman神经网络的预测都经过堆栈自编码网络的降维处理，以使得充分利用Elman神经网络动态特性的同时，也避免了Elman神经网络所带来的运算量过大反而影响预测结果的问题。其具体步骤如下：[0064](1)按传统方式构建包括编码器和解码器的堆栈自编码网络，堆栈自编码网络包括多层神经网络模型，依次为一层输入层、多层隐藏层、一层输出层，即为输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层、第n层隐藏层、输出层的结构。[0065](2)构建Elman神经网络，Elman神经网络依次包括输入层、隐藏层、作为输出层节点反馈的承接层和拥有动态回归神经网络模型的输出层。[0066](3)将训练样本的无标签数据作为堆栈自编码网络第一层输入层的输入，第二层隐藏层的输出作为第三层隐藏层的输入，第三层隐藏层的输出作为第四层隐藏层的输入，以此类推，最后一层隐藏层的输出作为最后一层输出层的输入。堆栈自编码网络第一层输入层的隐层单元为n1、第二层隐藏层的隐层单元为n2、第三层隐藏层的隐层单元为n3、第X层隐藏层的隐层单元为nx、最后一层输出层的隐层单元为nt。[0067](4)将堆栈自编码网络最后一层输出层的表征输出数据作为Elman神经网络输入层的输入，即经堆栈自编码网络提取后的特征作为Elman神经网络的输入。[0068](5)将堆栈自编码网络和Elman神经网络堆叠形成基于堆栈自编码的Elman神经网络模型。
[0069]第三步，对基于堆栈自编码网络的Elman神经网络预测分析模型进行无监督训练。利用无标签数据对基于堆栈自编码网络的Elman神经网络预测分析模型的堆栈自编码网络进行无监督训练。通过对高维数据进行特征提取以实现降维，从而利用降维后新的特征来表征原始数据，使得构建Elman模型之前进行数据预处理，降低时间和空间的复杂度。其具体步骤如下：[0070](1)获取无标签数据X＝{x1,x2,...,xr}，将xi∈Rn×1作为堆栈自编码网络的第i个
10
CN 107844870 A
说 明 书
6/8页
输入向量，输入到具有d个神经元的编码器。[0071]编码器通过非线性激活函数f得到编码zi∈Rd×1，其计算表达式如下：[0072]zi＝sf(Wxi+b1)，[0073]其中，W∈Rd×n是权重矩阵，b1∈Rd×1是编码层偏置向量。
[0074][0075][0076]
(2)将zi输入到解码器，得到解码结果其计算表达式如下：
其中，sg为解码器的激活函数，
WT∈Rn×d是权重矩阵W的装置，b2∈Rn×1是
解码层偏置向量。[0077](3)通过最小化重构
与原始输入数据xi,之间的误差代价进行特征提取，采用梯
得到所提取的特征，使得
之
度下降法更新训练层与层之间的权值间的误差达到最小值，其代价函数如下：
[0078][0079]
第四步，基于堆栈自编码网络的Elman神经网络预测分析模型进行有监督训练。[0080]将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取，将已提取特征后预处理的标签数据和土壤重金属含量的历史数据输入基于堆栈自编码网络的Elman神经网络预测分析模型，对Elman神经网络预测分析模型进行有监督训练。其具体步骤如下：[0081](1)将训练样本的标签数据输入到训练后的堆栈自编码网络中进行特征提取；[0082](2)获取土壤重金属含量的历史数据，在此，土壤重金属含量的历史数据用于针对土壤重金属的迁移特性进行分析使用，该数据对数据预测的准确性具有极佳的逼近性能。[0083](3)将Elman神经网络预测分析模型定义如下：
[0084]
[0085]
其中，k为Elman神经网络的训练次数，y为输出向量，x为隐藏神经元输出向量，u为输入向量，yc为记忆输出层单元所反馈的前一时刻输出值，0≤α≤1为自连接反馈增益因子，W3、W2、W1分别为隐藏层到输出层、承接层到输出层、输入层到隐藏层的连接权值矩阵，f()和g()分别为隐藏层单元和输出层单元的激发函数所组成的非线性向量函数。[0086]针对土壤重金属的迁移特性，对以下传统的Elman神经网络预测分析模型进行了相应的改进，
[0087]
11
CN 107844870 A[0088]
说 明 书
7/8页
根据土壤重金属含量所特有的迁移特性问题，将上式中的xc(隐藏层单元所反馈
的前一时刻输出值)替换为yc(记忆输出层单元所反馈的前一时刻输出值)，因此，改进后的Elman神经网络模型的输出向量y(k)依赖于隐藏神经元输出向量x和记忆输出层单元所反馈的前一时刻输出向量yc。[0089](4)对Elman神经网络预测分析模型的参数进行调整。利用传统梯度下降法计算参数的方法，但由于Elman神经网络预测分析模型进行了相应的改进，则其得出结果就不同，在此给出针对新的Elman神经网络预测分析模型参数调整的推导过程。
[0090][0091][0092]
设第k次实际的输出为误差指数函数为
分别计算E(k)对权值W3、W2、W1的偏导数并使其为0，得到改进的Elman神经网络预
测分析模型训练方法。[0093]A、将E(k)对隐藏层到输出层的连接权值W3求偏导，其计算如下：
[0094]
[0095]其中，
[0096][0097][0098][0099]
令
B、将E(k)对隐藏层到输出层的连接权值W2求偏导，其计算如下：
不考虑yc,i(k)对的依赖，
[0100]
[0101]
C、将E(k)对隐藏层到输出层的连接权值W1求偏导，其计算如下：
12
CN 107844870 A
说 明 书
8/8页
[0102]
(5)将提取特征后的标签数据和土壤重金属含量的历史数据输入Elman神经网络
预测分析模型进行参数调整，对Elman神经网络预测分析模型进行训练，使得Elman神经网络预测分析模型具有分析预测能力。[0104]第五步，土壤重金属含量的预测分析。将重金属含量的历史数据和测试样本的LIBS光谱数据处理后输入基于堆栈自编码网络的Elman神经网络预测分析模型，完成对测试样本土壤重金属含量的动态分析预测，从而分析实际结果与预测结果之间的差异，评价改进模型的优劣。其具体步骤如下：[0105](1)将测试样本的LIBS光谱数据输入到堆栈自编码网络进行特征提取。[0106](2)将提取特征后的预处理数据以及重金属含量的历史数据输入到改进Elman神经网络模型中，进行对测试样本土壤重金属含量的分析预测。
[0107]本方法在利用Elman神经网络模型中结合历史数据对预测分析模型进行构建，从而对现有土壤样本进行精准预测。由于土壤重金属含量的迁移特性对历史数据的依赖性，在Elman神经网络模型中将历史数据作为模型中的一部分，运用了科学的理论方法和严谨的逻辑思维。
[0108]以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
[0103]
13
CN 107844870 A
说 明 书 附 图
1/1页
图1
14
因篇幅问题不能全部显示，请点此查看更多更全内容