偏最小二乘线性模型及其非线性动态扩展模型综述

近几十年来, 现代化工、冶金、机械、物流等工业呈现向大型化、复杂化方向发展的趋势, 这些大型复杂工业过程无法完全依靠传统方法建立精确的物理模型进行管理监控[1], 一旦发生事故, 便会造成巨大的财产损失和人员伤亡.例如: 1974年意大利塞韦索一家化工反应堆发生泄漏, 导致28名工人死亡, 2 000余人二恶英中毒; 1984年印度博帕尔农药厂发生毒气泄漏, 致使2.5万人直接死亡, 55万人间接死亡, 5万人永久残废; 2005年吉林市中石油吉林石化公司双苯厂连续发生爆炸, 形成特大环境污染事故.为了避免这些重大事故的发生, 大型复杂工业过程监控已成为人们研究的热点问题之一.

随着新型仪表以及传感器的发展, 大量反映工业过程运行机理和运行状态数据的采集已成为可能.由于大量的数据可以利用, 人们提出了基于数据驱动的建模方法, 并已广泛应用于过程监控.这类方法通常称为多元统计过程监控(Multivariate statistical process monitoring, MSPM)方法[2]. MSPM依托的主要理论是以主元分析(Principle component analysis, PCA)[3]、规范变量分析(Canonical variable analysis, CVA)[4]、独立成分分析(Independent component analysis, ICA)[5]、Fisher判别分析(Fisher discriminant analysis, FDA)[6]、偏最小二乘(Partial least squares, PLS)[7]等为核心的投影降维算法.

在工业过程中, 大量过程变量中通常仅有几个关键的变量, 关键变量的变化会影响最终产品的质量, 甚至造成重大事故.人们把这些关键变量称为质量变量.然而PCA、ICA和FDA算法对工业过程中所有变量进行无差别的监控, 在降维过程中并未考虑质量变量, 可能会去掉一些与质量变量相关的关键信息, 而这些关键信息的缺失会造成过程监控失效.基于这一不足, 人们提出了与质量相关的投影降维算法, 如CVA和PLS.这类算法在进行投影降维建模时尽可能保留了与质量变量相关的信息, 而在过程监控领域, 这类算法通常称为质量相关的故障检测与诊断方法. CVA常用于动态系统建模, 而PLS的研究更为广泛, 人们已经提出了大量线性、非线性以及动态PLS扩展模型.最近在过程监控领域, 学者们发表了一些综述性文献[8-10], 其中都涉及了PLS模型, 但对PLS模型的综述都不够完整且没有给出详细的分类.

本文给出PLS模型发展结构, 如图 1所示.基于图 1, 将工业过程故障检测技术作为主要应用背景, 以分类和扩展方法为横轴, 线性、非线性、动态为纵轴, 对PLS模型进行全面的综述.首先, 介绍线性PLS模型, 并对传统PLS模型按照不同的方式进行分类, 随后按照PLS存在问题以及数据的极端情况对线性PLS模型发展现状进行综述; 其次, 针对基于核函数的非线性PLS模型进行综述; 再次, 阐明动态成因, 对动态PLS模型进行综述; 最后, 指出该领域亟需解决的问题和未来研究方向.

PLS是由Wold等[7]于1983年提出的. PLS有如下几个特点[11]: 1)可以实现多个因变量对多个自变量的回归建模, 比逐个因变量做多元回归更加有效、可靠, 整体性更强; 2)解决了自变量之间的多重相关性问题; 3)可以实现多种数据分析的综合应用.一次PLS算法相当于同时实现多元线性回归(Multiple linear regression, MLR)、主成分分析PCA以及典型相关分析(Anonical correlation analysis, CCA), 因此, PLS被称为第2代回归分析方法[12].

PLS又称潜结构投影模型.首先要明确两个基本概念[13]:一是显变量, 即可以直接测量的变量, 也就是原始的X和Y, 变量之间可能有强相关性; 二是潜变量, 即无法直接测量的变量, 变量之间不具有强相关性, 是显变量的线性组合.

假设自变量数据矩阵X = [x1, x2, …, xn]T的潜变量为ti, i = 1, 2, …, A; 因变量数据矩阵Y = [y1, y2, …, yn]T的潜变量为ui, i = 1, 2, …, A.其中: X和Y是零均值、单位方差标准化后的数据矩阵, X和Y通常也称为输入、输出.由基本概念可得

其中: wi和ci分别是输入潜变量ti和输出潜变量ui的权向量; 权重矩阵为W =[w1, …, wA]; A为主元潜变量个数, 一般由交叉验证[14]得到.

PLS是由数据矩阵X和Y对潜变量回归建模的算法, 而潜变量的选取应满足两个原则[15]: 1) ti和ui尽可能大地携带各自数据矩阵的变异信息; 2) ti与ui的相关程度能够达到最大.这两个原则可转化为如下优化问题的解:

PLS模型的求解可以采用特征分解法(ED)[11, 15], 也可以采用奇异分解法(SVD)[16-17]. PLS模型通常利用X和Y分别对ti和ui进行回归建模, 其外部模型如下:

其中: 为主元子空间, 为残差子空间, 为可预测部分, 为残差, T= [t1, t2, …, tA]为得分矩阵, X和Y为对应X和Y的负载矩阵. B =diag{b1, b2, …, bA}, bi为内部回归系数, 则U = TB.内部模型如下:

其中ri为残差.该模型为线性内部模型, 可以改为非线性或动态内部模型, 从而得到非线性和动态PLS模型.线性PLS内、外部模型示意如图 2所示.

在故障检测应用中, PLS模型参数通常由非线性迭代算法(NIPALS)求解[18], 采用X和Y对ti进行回归建模, 即

其中Q=[q1, q2, …, qA]为Y对T的回归矩阵, 通常称负载矩阵.由于T无法从X中直接计算得到, 引入新权重矩阵R=W(PTW)-1, 可得T=XR[19], 基于R, 可得到Y对X的回归矩阵C=RQT[20].

以上两种回归模型有近似关系, 即QT ≈ BQ*T.这两种回归模型都基于标准的PLS, 标准PLS在X空间诱导了一个斜交分解[21], 将X空间分解为主元子空间和残差子空间.主元子空间反映了与Y相关的变化, 由T2统计量监控; 残差子空间反映了与Y无关的变化, 由Q统计量监控.传统PLS模型应用于故障检测, 统计量T2和SPE的公式以及控制限参数参见文献[22].

按照数据空间的结构分解方式划分, 传统PLS模型有3种, 分别是标准的PLS模型、W-PLS模型[23]和SIMPLS模型[24].这3种PLS模型的区别在于对输入数据空间的结构分解方式:标准PLS是斜交分解, W-PLS和SIMPLS都是正交分解.对于应用于过程监控而言, 标准PLS模型效果更优.

按照模型求解方法划分, 传统PLS模型有两种, 分别是基于特征分解法(ED)和奇异分解法(SVD)的PLS模型和基于非线性迭代(NIPALS)的PLS模型.基于ED和SVD的模型在计算过程中要处理维度较大的数据矩阵, 在线模型更新较为困难; 非线性迭代(NIPALS)求解方法将求解过程分解, 通过迭代方式构建模型, 其计算量较小, 有利于过程监控.

按照更新方式划分, 传统PLS模型有两种, 分别是仅更新输入X的PLS模型和仅更新输出Y的PLS模型[19].根据问题所需选取合适的更新方式, 有利于增强模型更新的效率.

按照核矩阵划分, 传统线性核PLS模型有两种, 分别是核矩阵为XTYYTX的线性核PLS模型[25]和核矩阵为XXTYYT的线性核PLS模型[26].根据问题所需选取合适的核矩阵, 能大大减少运算复杂度.

标准PLS模型存在两个缺点: 1) 中包含了与Y正交的成分; 2) 内部有较大的变异.缺点1)的成因是PLS算法对X进行了斜交分解[21]; 缺点2)的成因是PLS算法旨在X和Y协方差最大, 并没有按照X方差的降序提取潜变量[27].为了克服缺点1), 人们采用数据预处理方法将正交成分去除, 目的是建立更加精确的PLS回归模型.人们相继提出了6种正交信号修正算法, 下面介绍这6种正交信号修正算法的主要思想、相互关系及其故障检测技术.

1) 正交信号修正(OSC)算法最早由Wold等[28]提出, 后面称为SWosc算法. SWosc算法的目的是去除X中与Y正交的最大变化.首先对X做PCA主元分析, 将第1主成分作为起始正交得分向量t⊥; 做t⊥到Y的正交投影, 得到与Y正交的得分tnew; 构建X关于tnew的PLS迭代模型, 迭代求得3个参数W、P、q; 由3个参数求得正交得分权向量w⊥, 并迭代至t⊥收敛, 求得对应的负载向量p⊥; 通过p⊥求得正交分量X⊥; 最后得到修正后的自变量数据XOSC, 其中XOSC=X-X⊥.将XOSC代回X即可进行下一组正交信息的去除.后面5种算法均可采用同样的操作去除下一组正交信息.为了更直观地描述算法思想, 图 3给出了SWosc算法流程.

2) Sjöblom等[29]修改了SWosc算法并应用于校准转移, 后面称为JSosc算法. JSosc算法与SWosc算法大致相同, 只是先迭代求得收敛的tnew, 然后构建X关于tnew的PLS迭代模型, 迭代求解参数W、P、q, 并求得w⊥、t⊥、p⊥、X⊥和XOSC.为了对比SWosc与JSosc的异同, 图 4给出了JSosc算法流程.

正交信号类算法的关键是要找到w⊥, 后面4种算法以不同的角度求得w⊥, 之后过程参照JSosc算法流程图.

3) Andersson[30]提出了直接正交化(DO)算法.该算法确保了自变量中与因变量完全相关的信息不被删除, 但降低了模型的预测能力. DO算法没有迭代过程, 由X向Y做正交投影, 得到正交阵Z=X-Y(YTY)-1YTX, 然后对Z进行PCA主元分析, 得到最大特征值对应的特征向量作为w⊥.

4) Fearn[31]提出了一种新的OSC算法, 后面称为TFosc算法. TFosc算法的思想不同于SWosc和Sjosc, 也没有迭代过程.为解决矩阵MXTX的特征值问题给出M=I-XTY(TTXXTY)-1YTX, 并构建了正交阵Z=XM. TFosc与DO相同, w⊥就是Z主元分析后最大特征值对应的特征向量.

随后, Trygg等[32]提出了基于NIPALS的正交信号PLS(O-PLS)算法, 还提出了主成分分析(PCA)去除正交信息的O-PLS扩展算法.

5) 偏最小二乘正交投影(OPLS)算法是直接对X和Y进行一轮PLS迭代, 得到参数w、p, 并求得w⊥=p-(wTp/(wTw))w.

6) 主成分分析偏最小二乘正交投影OPLS(PCA)算法是先进行一次OPLS算法, 得到X⊥和XOSC; 然后对X⊥进行主成分分析后, 将X⊥的残差部分重新加入XOSC中, 相当于将自变量数据矩阵X仅移除X⊥的主成分部分.

基于标准PLS模型, 6种OSC预处理方法都可以构建OSC-PLS模型

OSC-PLS模型应用于故障检测, 统计量T2和SPE的公式以及控制限参数与标准PLS模型一样.

虽然正交信号修正(OSC)预处理能够有效克服缺点1), 但是OSC-PLS模型的残差空间内部依然有较大的变异, 过程监控时采用Q统计量监控并不合适[33].为克服PLS的缺点2), Zhou等[33]专门为过程监控提出了全潜结构投影(T-PLS)模型. T-PLS监控模型的主要思想是将不同类的信息映射到不同的潜在子空间, 对潜在子空间进行全方位的监控.该思想引领了多空间类算法的发展.

T-PLS算法将分解为与Y相关的子空间Xy和与Y正交的子空间Xo, 将分解为含有较大变异的子空间Xr和最终残差空间Er, 模型如下:

其中: Ty、To和Tr为对应部分的得分矩阵, Py、Po和Pr为对应部分的负载矩阵. Xy、Xo和Xr衡量过程主要变化, 因此适用于T2统计量监控; Er为残差部分, 因此适用于Q统计量监控.为了提高T-PLS模型过程监控能力, Li等[34]研究T-PLS模型的故障可检测性问题, 提出了质量相关故障检测方法的联合监测指标.为了有效地提高T-PLS质量变量对过程变量的解释能力及实时监测的性能, Zhao等[35]提出了T-PLS模型的多空间分解形式, 并将具有不同来源特征的多组过程变量中与质量相关的子空间和与质量无关的子空间进一步分解. T-PLS模型应用于故障检测, 统计量Ty2、To2、Tr2和SPE的公式以及控制限参数参见文献[33].

T-PLS在故障检测中存在两个不足: 1)模型仅监控可预测部分, 这使得不可预测的质量变化不受T-PLS的监控; 2)输入数据空间X不必要地分成4个子空间, 它可以简洁地分为预测相关子空间和预测无关子空间.

基于上述问题, Qin等[36]基于标准PLS提出了并发潜结构投影模型(C-PLS).已知Y的可预测部分为=TQT=XRQT, 其中T包含了与Y相关和正交的得分, 因此有必要对进行SVD分解, 即

则不可预测部分为=Y-.将Y分成可预测部分和不可预测部分, 对进行主元分析, 将较大变异提取出来进行监控, 即=TyPyT+.将=XRQT代入式(8)得到Uc=XRQTVcDc-1=XRc, 其中Rc为X关于Uc的权重矩阵.将X向span{Rc}和span{Rc}⊥上投影, 即将X正交分解为与相关和与无关的Xc、两部分, 两个正交投影算子为ΠRc = Rc(RcTRc)†RcT和ΠRc⊥=I-Rc(RcTRc)†RcT.

同理, 对做主元分析, 即=TxPxT+, 构造出C-PLS模型

其中: Uc代表X中与相关部分的得分, Tx代表X中与不相关部分的主元得分, 为输入残差, Ty代表Y中不可预测部分的主元得分, 为输出残差. Rc†、Qc、Px、Py为对应部分的负载矩阵, Rc†=(RcTRc)-1RcT.

C-PLS模型应用于故障检测, X中预测相关统计量Tc2、预测无关统计量Tx2和Qx以及Y中不可预测统计量Ty2以及对应控制限参数参见文献[36].

Li等[21]给出了PLS算法对X斜交分解的几何解释, 斜交分解使中含有预测无用的变化, 会妨碍过程监控整体效率[33].为消除输入中对预测无用的变化, Yin等[37]提出了改进潜结构投影(M-PLS)模型, 对X采取了正交分解, 并且采用SVD分解避免了大量的迭代过程, 成功地应用于TE工业过程.算法首先给出了期望Y的分解如下:

期望与X相关, 而Ey部分与X不相关, 即cov(ey, xT)为零.基于此, 可由式(10)得到如下公式:

故X与Y之间的相关矩阵为M=(XTX)-1XTY, 也就是总体参数的最小二乘估计量[15].考虑到XTX非满秩的情况, 令M=(XTX)†XTY.以上操作将Y分为与X相关的部分和不相关的部分Ey.然后将X向span{M}和span{M}⊥上投影, 即将X正交分解为完全负责预测Y的子空间和与Y无关的子空间, 其中正交投影算子由MMT的SVD分解求得.该操作避免了复杂的迭代过程, 大大减少了计算量.至此, 得到改进的潜结构投影模型(M-PLS)为

M-PLS模型应用于故障检测, 监控统计量、监控统计量和Ey监控统计量SPEy或者Tcomb2以及对应的控制限参数参见文献[34].

Peng等[38]分析了M-PLS算法, 指出相关信息系数矩阵M=(XTX)†XTY中含有XTX的广义逆, 这可能导致X中与Y相关的信息丢失. 内可能还有与Y相关的部分, 因此有必要借鉴C-PLS中的做法, 通过PCA进一步分解, 即=TxPxT+.从而得到改进潜结构投影模型(E-PLS)为

E-PLS模型应用于故障检测, 监控统计量、TxPxT监控统计量Tx2和监控统计量Qx以及对应的控制限参数参见文献[36-38].

在处理工业过程数据时经常遇到两种极端的情况: 1)过程数据变量数目极大; 2)过程数据样本数极大.在这两种情况下, 采用以上两类算法都不合适.因为上述两类算法都是由标准PLS改进而来的, 标准PLS是批处理算法, 处理这些数据时不但对潜变量解释困难, 而且模型更新困难、效率低下, 无法满足工业过程监控的需求.为此, 人们采用分块的思想, 将过程数据按照变量或者样本数进行分块, 得到子块后利用子块内的关系和子块间的关系建立监控模型.其中: Wold[39]和Wold等[40]提出了按变量分块的多块投影方法(MB-PLS); Helland等[41]提出了按样本数或批次分块逐块更新模型的递推偏最小二乘(RPLS). MB-PLS能够对不同子块以及整体建立监控模型, 提高故障诊断效率; RPLS能够不增加数据矩阵大小, 利用新数据和原模型参数更新模型, 提高模型更新能力.下面介绍这两种分块算法的改进历程及其故障检测技术.

Wold提出的MB-PLS算法无法实现任意分块, 基于此, Wangen等[42]提出了任意分块的多块偏最小二乘(MB-PLS)模型.首先由先验知识将X分为B个子块, 即X(b)(b=1, 2, …, B), 分别进行PLS迭代, 得到子块得分t(b)(b=1, 2, …, B), 子块得分t(b)可组合为复合矩阵Tc; 然后进行Tc关于Y的PLS迭代, 得到超级得分向量tS和q等参数; 最后用t(b)和tS分别更新X(b)和Y, 得到MB-PLS模型为

其中: T(b)为块得分矩阵, P(b)为对应块负载矩阵, E(b)为子块残差, F为Y的残差, TS=[tS1, …, tSA]为超级得分矩阵.模型通过t(b)更新X(b), 使t(b)之间正交, tS之间相关.

Westerhuis等[43-44]指出, 由Wangen等[42]提出的块得分更新子块X(b)会去掉对其他子块预测Y有用的信息, 因此该模型预测能力较差, 他们提出用超级得分tS更新X(b)的算法, 构建出如下模型:

其中: TS为超级得分矩阵; Ps(b)为子块的超级得分负载矩阵; 模型利用tS更新X(b), 使tS之间正交, t(b)之间相关, 具有与常规PLS等效的建模能力[43].由于tS是t(b)的线性组合, 子块X(b)用tS更新会导致块与块间信息互融, 造成t(b)难以解释; 而Dayal等[19]指出, 标准PLS算法只能更新Y而不更新X. Westerhuis等[45]引入该思想, 避免了信息互融.

MBPLS模型具有较好的潜变量解释能力, 能够有效降低故障诊断的复杂性.为了加强MBPLS的监控能力, MacGregor等[46]提出了子块的监控指标以及整体的监控指标; Qin等[47]提出了故障检测的4种统计量, 即总体的TS2和QS, 分块的Tb2和Qb; 之后, Choi等[48]对这些统计量进一步分析和整理, 并应用于污水处理(WWTP)过程监测中. MBPLS模型应用于故障检测, 统计量公式及其对应控制限参数可参见文献[46-48].

当样本数或批次较多, 需要克服时变扰动并实时更新模型时, 通常采用分块递推偏最小二乘(BRPLS)算法. BRPLS由Qin[49]在RPLS算法基础上改进而来, 算法利用历史模型参数与新数据模型参数获取新的模型, 避免重复使用历史数据, 因此, 该算法对多操作、时变工业过程有着较强的模型更新和追踪能力, 同时Qin将自适应滑动窗口和自适应遗忘因子技术引入BRPLS算法; 后来, Chang等[50]通过统计量自适应确定遗忘因子, 提出了改进的BRPLS, 应用于管坯斜轧穿孔能耗过程, 表现出较强的模型在线更新能力.另外, Qin还在文献[49]中通过ARX和FIR模型将RPLS算法扩展到非线性建模和动态建模应用中.

在实际工业过程中, 过程变量与过程变量之间以及过程变量与质量变量之间都存在非线性关系, 线性PLS模型在实际过程监控应用中往往无法得到满意的效果.为了处理这类非线性问题, 人们提出了许多非线性PLS扩展模型.根据目前研究成果, 非线性扩展方法可以分为以下两类: 1)改进PLS内、外部模型, 得到非线性PLS模型; 2)将数据间的非线性关系线性化, 再通过线性PLS建模.

由Wold等[18]提出的非线性迭代算法(NIPALS)方法就是改进内部模型的算法之一, NIPALS使用多项式非线性映射描述了潜变量之间的非线性关系.后来, Frank[51-52]提出了用潜变量作为平滑器的输入和基于样条插值的非线性PLS回归模型.由于神经网络(NN)具有较好的非线性拟合能力, Qin等[53]通过NN构建PLS的内部模型, 得到了神经网络偏最小二乘(Neural network partial least squares, NNPLS)模型.而Malthouse等[54]通过前馈神经网络构建了非参数的非线性偏最小二乘(Nonlinear partial least squares, NLPLS)模型, 通过实验显示出比传统投影回归方法更好的预测性能.然而, 以上改进内外模型非线性算法的复杂度远高于线性PLS, 扩展到现有线性PLS模型上的难度较大.

针对模型复杂度过高和扩展难度大的问题, Rosipal等[55]基于核函数理论[56-57]和Cover定理[58], 提出了非线性核偏最小二乘(K-PLS), 通过核函数将原始变量由低维空间映射到再生核希尔伯特空间(RKHS), 即高维特征空间, 使非线性数据在高维特征空间中呈线性关系, 然后在RKHS中巧妙利用核函数K建立线性PLS模型.该模型具有等同于线性PLS的复杂度, 因此, 基于核函数的非线性PLS成为非线性工业过程监控领域的主流方法.标准PLS可通过非线性映射函数Φ映射为如下模型:

其中Φ无需求得, 可由核函数K替代Φ在RKHS中的点积运算, 即通过K=Φ(X)ΦT(X)来求解故障检测所需要的参数, 如T、U、Q以及R. K-PLS模型的统计量T2和SPE及其对应的控制限参数参见文献[59].

KPLS算法提出后, 受到了一大批学者的重视.在数据预处理方面, Kim等[60]将正交信号(OSC)引入KPLS, 得到OSC-KPLS模型. OSC-KPLS具有较低的模型复杂度和估计误差以及较好的因变量预测能力.近来, Gao等[61]将随机梯度回归(Stochastic gradient boosting, SGB)以及核纯净信号分析(Kernel net analyte preprocessing, KNAP)引入KPLS, 得到了改进的核偏最小二乘(MKPLS)模型. MKPLS模型能够有效去除建模无关信息, 并且避免过拟合问题, 比KPLS预测精度更高.

在多空间方面, Peng等[62]将KPLS算法扩展到全潜空间, 提出了全核PLS(T-KPLS)方法, 并应用于带钢热连轧生产过程(HSPM)质量相关的故障诊断中.之后, Peng等[63]针对T-KPLS模型的非线性情况, 给出了扩展到非线性的贡献图方法.为了捕获非高斯潜在子空间和剩余子空间内批处理数据的异常, Mori等[64]提出了非线性批处理的多向核PLS(MKPLS)方法, 并开发新的监测指标, 应用于非线性的青霉素发酵生产过程的故障检测中. Sun等[65]提出了并发核潜结构(C-KPLS)算法, 应用于汽车电池故障检测.为了解决剩余子空间包含输出变量相关变化的问题, Zhang等[66]提出了定向的核偏最小二乘(DKPLS)模型. DKPLS在输入与输出变量之间建立了更直接的关系, 并成功地用于监测蒙特卡洛仿真和电熔镁炉(EFMF)过程监控.为了加强C-KPLS的监控能力, Sheng等[67]提出了基于C-KPLS的综合监控方法, 给出了较为全面的过程监控指标, 并应用于TE工业过程, 取得了良好的效果.

在分块方面, Zhang等[68]提出了基于多模块的KPLS(MBKPLS)方法, 并将其应用于大规模生产过程的分散式故障诊断. MBKPLS能够有效捕捉过程中的复杂关系, 极大提高了诊断能力.

为了提高KPLS模型的应用范围, Zhang等[69]将KPLS与ICA结合起来, 将KPLS引入非高斯领域. Wang等[70]将多尺度核引入KPLS得到多尺度核偏最小二乘(Multi-scale KPLS)模型, 很好地解决了概率积分法参数辨识问题.之后, Liu等[71]将滑动窗口引入Multi-scale KPLS模型, 提高了模型的自适应能力.而Shi等[72]将KPLS与FDA结合起来得到KPLS-FDA模型, 该模型在正常工况下可预测产品质量, 在异常工况下可根据Fisher相似度系数确定故障类型.

现实中复杂工业过程是一个动态过程, 工业过程数据内部存在动态关系, 在处理这些过程数据时, 线性PLS算法难以发挥有效的作用.为了有效地解决动态难题, 人们提出了两种PLS动态扩展方法: 1)数据预处理方法, 即输入中大量引入相关变量的历史数据, 通过数据扩充思想将时间动态建模问题转化为空间静态建模问题, 然后用已有的线性PLS算法建模; 2)建立动态内、外部模型的方法, 对PLS算法进行动态扩展.

一般的工业过程都是动态过程, 其稳态过程只是暂时的、相对的, 因为工业生产过程总是存在各种各样的波动、干扰以及操作条件的改变等.常见的动态变化原因表现为以下几点[73]:

1) 原料批次的变化, 生产过程的复合操作, 设备的定期切换等;

2) 过程的不稳定性, 如相同批次原料性质的差异和波动, 冷却水温度波动, 催化剂活性的变化, 设备管路的结垢等;

3) 设备故障, 人为的误操作等;

4) 生产装置的开停车操作.

由于以上复杂的操作和过程的不稳定性, 工业过程是动态变化的, 数据存在动态特性是必然的.

假设y(k)为k时刻的主导输出变量, x(k), x(k-1), …, x(k-n)为过渡过程各时刻的输入变量.数据动态特性表现为:主导输出变量y(k)不仅与k时刻的输入变量x(k)相关, 还与历史时刻的输入变量x(k-1), …, x(k-n)相关, 甚至还与历史时刻的输出变量y(k-1), …, y(k-n)相关, 而且动态特性还会通过变量之间的增量反映出来[74].

由上述分析可知, 动态关系可通过历史数据与当前数据之间的相关性表现出来, 因此, 构建动态模型可以采用数据矩阵扩充的思想, 同时使用历史数据与当前数据构建模型.该模型在每个时刻都能够反映出历史数据与当前数据之间的相关性, 即动态特性.

根据目前的研究来看, 常用的数据矩阵扩充方法一般有两种: 1)将大量的历史输入数据加入输入数据矩阵中, 即采用有限冲击响应(Finite im-pulse response, FIR)模型的矩阵格式[75], 后面称为FIR数据矩阵. Ricker[76]采用这种方法, 基于有限冲击响应FIR动态经验模型, 提出了FIR-PLS动态模型. FIR-PLS利用偏最小二乘代替最小二乘对FIR模型系数矩阵C进行参数辨识, 避免了建模时出现病态矩阵, 并与SVD参数辨识法相比显示出较好的效果. 2)将大量的历史输入以及历史输出数据加入输入数据矩阵中, 即采用外生变量自回归(Autoregressive exogenous, ARX)模型的矩阵格式[77-78], 后面称为ARX数据矩阵. Qin等[79]利用该方法, 通过ARX数据矩阵将NNPLS引入动态, 得到动态神经网络偏最小二乘(D-NNPLS)模型, 并应用于催化重整系统.之后, Qin等[80]又将非线性外生变量自回归(Nonlinear autoregressive exogenous, NARX)模型以及非线性有限冲击响应(Nonlinear finite im-pulse response, NFIR)模型引入NNPLS, 将其扩展为非线性动态算法.基于以上研究, Baffi等[81]提出在FIR或ARX模型结构中基于线性、二次和神经网络的非线性动态PLS算法, 并应用于pH中和系统, 对提出的算法进行了对比.

上述采用数据矩阵扩充思想构建动态模型的方法有着扩展难度小的优势, 已被广泛应用于工业过程监控领域.基于DPLS模型, Chen等[82]提出了批次动态偏最小二乘BDPLS模型, 并将其应用到DuPont间歇工业过程. Lee等[83-84]提出了基于系统分解的DPLS故障诊断方法, 并应用到TE工业过程中.为了使T-KPLS准确处理动态过程, Liu等[85]也使用FIR数据矩阵, 提出了动态全核偏最小二乘(DT-KPLS)模型, 并将其应用于非线性动态系统的质量相关的过程监控.而Liu等[86]分别构建了历史输入扩展矩阵和历史输出扩展矩阵, 应用于CPLS模型, 得到了动态并发潜结构投影(DCPLS)模型.但是两个扩展矩阵的引入导致变量过多, 造成故障难以定位.因此, Liu等[86]又将DCPLS扩展到多块DCPLS, 通过连续退火工艺过程验证了算法的有效性. Tong等[87]提出了基于自回归(Autoregressive, AR)模型的OPLS动态方法, 并建立了基于贝叶斯推理的概率监控指标, 应用于TE工业过程. Jiao等[88]基于自回归移动平均(Autoregressive moving average exogenous, ARMAX)模型矩阵格式将M-PLS拓展到动态, 得到了DM-PLS模型, 并应用于TE工业过程.

扩充矩阵的动态模型没有给出动态关系的明确表示, 并且算法计算量的大小随着历史数据数量的增加而增加.基于以上问题, Kaspar等[89]在不扩充输入矩阵的情况下, 用动态滤波器对该动态数据进行处理, 使得输入中的动态部分被去除; 在过滤后的输入与输出之间建立静态外部模型; 而在内部模型中, 通过控制系统设计出输入潜变量与输出潜变量之间的内部动态模型; 最终构建出外静、内动的D-PLS模型.基于Kaspar等人的研究, Lakshminarayanan等[90]通过ARX模型或Hammerstein模型对输入输出潜变量之间的动态关系进行描述, 提出了改进内部模型的动态ARX-PLS算法. Wang等[91]将DPLS的动态潜变量通过模糊聚类算法进行分类, 并按照分类建立多个子模型以拟合系统的非线性, 提高了DPLS的预测精度和泛化能力.

上述算法尽管给出了内部动态关系的明确表示, 但还存在内部模型与外部模型动、静不统一的缺点.鉴于此, Li等[92]提出了新的目标函数并得到动态外部模型, 通过历史输入潜变量加权与输出潜变量构建出动态内部模型, 最终给出了内外模型一致的D-PLS模型.在过程监控中, D-PLS存在与PLS模型相同的缺点, 因此将其扩展为D-TPLS模型, 通过TE过程验证了算法的有效性. Dong等[93]指出, Li等[92]构建的内部模型存在难以解释的缺陷, 因此, 采用ARX模型对输入输出潜变量之间的动态关系进行描述, 得到一个明确的内部动态模型, 并给出了内外模型统一的动态偏最小二乘(Di-PLS)模型.

最近, Dong等[94]将RPLS思想引入T-PLS, 提出了自适应递推T-PLS(RTPLS)模型. RTPLS具有较强的模型更新能力, 能够充分利用全潜空间监视时变和非平稳过程.考虑到过程数据的非高斯情况, Zhang等[95]将D-PLS与ICA结合起来, 提出了DPLS-ICA模型, 并给出了新模型的故障检测方法, 将其应用于TE工业过程, 取得了很好的效果.

本文以故障检测技术为主要应用背景, 专门针对线性PLS模型及其非线性动态扩展模型进行了全面的综述.尽管学者们在线性、非线性和动态方面提出了大量的建模方法以及过程监控技术, 但仍不完善, 还有如下问题需要进一步研究和讨论:

1) 主元个数确定问题. PLS建模方法研究比较广泛, 出现了许多新的模型和方法, 但其主元个数确定通常使用交叉验证.在面对不断发展的复杂工业过程时, 交叉验证算法过于复杂, 因此, 最优主元个数更简单的确定方法将是一个急需研究的问题.

2) 非线性参数确定问题.基于核函数的非线性算法, 其核函数的选择以及最优参数的选择通常依靠经验和重复实验来决定, 重复性实验消耗了大量的时间和资源.核函数及其参数自适应快速的选择算法将是一个有意义的研究方向.

3) 故障检测问题.大多数算法应用于故障检测时只能针对某一特定的工况或者特定的一个研究对象, 并且故障检测阈值的选择通常是“硬阈值”, 没有考虑实际报警数据与阈值大小的相对程度, 也没有考虑实际中的各种干扰.此外, 仅通过数据建模, 缺少监控对象的模型和内部机理, 使得一些可利用的经验无法纳入模型中, 限制了算法的应用范围.

4) 非线性PLS模型发展方向.基于传统神经网络的非线性算法结构复杂、参数较多, 而且存在过拟合问题.近来兴起的深度学习中卷积神经网络(Convolutional neural networks, CNN)能够有效解决这个问题, CNN与PLS的结合可成为非线性算法发展的一个新方向.

5) 动态PLS模型发展方向.大多数动态PLS算法以数据预处理为主, 使用历史数据扩充矩阵能够有效解决动态性问题, 但是大大增加了计算量以及故障诊断难度.如何确定最少增加历史数据量并具有良好的动态处理能力是一个具有价值的研究方向.变量之间的增量反映出了动态特性, 而实测数据包含了动态和静态数据. Kaspar等[89]利用动态滤波方法将动态信息滤除, 然后通过静态信息建模, 这样做可能丢失一些重要的动态信息, 因此, 将动态和静态数据分开, 分别建立动态、静态模型将是另一个值得研究的方向.最近, Li等[92]提出了内外模型统一的动态算法, 对该算法的扩展将是一个新颖的研究方向, 并且该算法的故障检测和诊断方法目前尚不完善, 仍需深入研究并在实际工业过程中进行实践应用.

6) PLS算法的应用研究方向.非高斯、多模态、间歇、多批次、分频等都是工业过程的典型特性, 在这些工业特性中, 基本都同时具有非线性以及动态特性, 因此, 可以将现有的非线性、动态及其结合算法改进后应用于具有不同的工业特性中.如Zhang等[69]将PLS、K-PLS与ICA结合起来, 成功地把线性和非线性PLS算法应用到非高斯领域; 而Zhang等[95]将D-PLS与ICA结合起来, 成功地把动态算法应用到非高斯领域.针对多模态、间歇、多批次、分频等特性的PLS算法尽管已有大量学者研究, 但还不完善, 有待于进一步的发展.

7) PLS算法融合研究方向.本文在综述算法模型的同时给出了算法的优缺点, 其中RPLS具有较强的模型更新能力和克服时变扰动能力, 而T-PLS可以全方位监控潜在子空间. Dong等[94]将两种算法的思想结合起来, 得到了兼有两种算法优点的RTPLS算法.因此, 将具有不同优点的算法融合起来也是一个很有价值的研究方向.

PLS已成为质量相关多元统计建模的主要方法, 它由线性发展到非线性, 由静态发展到动态, 描述着工业过程的基本特性, 并向着非线性动态方向发展. PLS模型不仅仅局限于过程监控领域, 在医学、统计学、生物学、机械理论、社会学、药物学、地质学、化学等关键学科中都有广泛的应用.可见PLS模型仍具有巨大的研究价值.