收藏本站
《浙江大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

稳健回归技术及其在光谱分析中的应用

包鑫  
【摘要】:现代工业生产过程中,为了严格控制产品质量,降低能耗与生产成本,减少对环境的污染,需要加强对产品质量的监测分析。产品质量分析方法主要包括化学分析法与仪器分析法,目前仪器分析法已成为分析方法的主流。光谱分析技术,因其分析速度快、对样品无损、操作技术要求低等优势,已成为一类常用的仪器分析方法,近年来得到了普遍的重视与广泛的应用。光谱定量分析大都采用如下方法:首先基于一组已知组成或属性的训练样本与对应的谱图建立光谱分析模型,再基于该模型与未知样品的谱图对未知样品的组成或性质进行分析计算。 然而,实际应用中,受环境干扰、仪表偏差和人为失误等因素的影响,训练样本数据集中很可能存在部分异常样本;这些异常样本显著地降低了分析模型的可靠性与准确性。如何避免或减少异常或错误训练样本对分析结果的不利影响,已成为当前迫切需要解决的问题。本文以光谱定量分析为背景,对稳健回归技术进行了深入的研究,具体包括: 1.针对现有稳健偏最小二乘(Partial Least Squares, PLS)的不足,提出了一种具有异常样本自动剔除功能的稳健PLS算法。该算法在建模过程中进行迭代计算,通过PLS回归误差分布确定置信区间,并由此自动剔除异常样本。同时,在现有局部回归的基础上,提出了稳健局部主成分回归(Principle Component Regression, PCR)算法。该算法对PCR所涉及的主成分分析和多元线性回归两个步骤都进行了稳健化处理,并在多元线性回归时采用了局部回归。上述稳健算法已应用于汽油辛烷值近红外光谱分析中,结果表明:这两种算法在稳健性和准确性上都优于其他线性稳健回归方法。 2.为了提高现有最小二乘支持向量机(Least Squares Support Vector Machine, LS-SVM)的稳健性,提出了一种稳健的LS-SVM算法。该算法使用LS-SVM回归误差分布的稳健置信区间选择训练样本中尽可能多的正常样本用于LS-SVM建模,同时尽可能多地剔除异常样本。为了减少迭代计算时间,又提出了相应的快速算法。仿真与试验结果验证了算法的有效性。在此基础上,将该算法应用于汽油品质拉曼光谱分析仪中,运行结果表明,该方法能够有效检测出异常样本,模型预测精度符合实际应用的要求。 3.针对原始加权LS-SVM (Weight LS-SVM, WLS-SVM)在收敛性和稳健性方面的不足,提出了一种WLS-SVM的稳健化迭代算法。该算法修正了原始WLS-SVM求取回归误差的计算公式,从根本上解决了WLS-SVM的收敛性问题;同时,对原始算法求权值的步骤进行了改进,采用回归误差的中值作为计算加权值的比较基准,从而大幅度提高了WLS-SVM的稳健性。 4.为进一步提高WLS-SVM的稳健性,提出了一种结合M估计器的LS-SVM算法(MLS-SVM)。该算法用M估计器的残差代替LS-SVM目标函数中的最小二乘残差,并利用迭代方式求解修正后的优化问题。针对红外光谱分析的实验结果显示了该算法比WLS-SVM及其它常用的支持向量机算法更稳健,且计算时间与LS-SVM相差无几,可用于需要实时计算的场合。 5.在上述研究的基础上,提出了广义LS-SVM算法(generalized LS-SVM, GLS-SVM)。该算法利用一般意义下的递减的残差偶函数代替了LS-SVM中的残差平方和,并采用迭代算法对GLS-SVM进行求解。在迭代计算过程中,并不需要计算残差偶函数,而只需要构造一个关于残差的加权函数;本文同时给出了几种典型的加权函数。针对烟草属性近红外光谱分析的研究结果表明,经过选择合适的加权函数,GLS-SVM具有良好的稳健性和预测精度。 最后,在总结全文的基础上,对稳健回归技术及其应用进行了展望。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TH744.1

【引证文献】
中国期刊全文数据库 前1条
1 于帆;李纪鑫;;免疫算法在近红外光谱奇异样本识别中的应用[J];西安工业大学学报;2014年01期
【参考文献】
中国期刊全文数据库 前10条
1 张其可;戴连奎;;用于近红外校正模型的训练样本选择[J];传感技术学报;2006年04期
2 谢玉珑,王继红,梁逸曾,俞汝勤;化学计量学中的稳健估计方法[J];分析化学;1994年03期
3 宋浩威,王洪艳,王多禧,王占龙;稳健偏最小二乘光度法同时测定贵金属元素锇和钌[J];分析化学;1996年10期
4 王艳斌,袁洪福,陆婉珍,齐洪祥,殷宗玲;人工神经网络用于近红外光谱测定柴油闪点[J];分析化学;2000年09期
5 史月华,陆勇,徐光明,徐元植,徐铸德,蔡大雄,陆文琼,马竞涛;主成分回归残差神经网络校正算法用于近红外光谱快速测定汽油辛烷值[J];分析化学;2001年01期
6 褚小立,袁洪福,陆婉珍;普鲁克分析用于近红外光谱仪的分析模型传递[J];分析化学;2002年01期
7 施玉珍,陈志春,林贤福;拉曼光谱与红外光谱无损检测技术新进展[J];分析化学;2005年02期
8 张琳;张黎明;李燕;刘丙萍;胡兰萍;王俊德;;正交信号校正用于傅里叶变换红外光谱的模型传递[J];分析化学;2005年12期
9 虞科;程翼宇;;一种基于最小二乘支持向量机算法的近红外光谱判别分析方法[J];分析化学;2006年04期
10 吕剑峰;戴连奎;;加权最小二乘支持向量机改进算法及其在光谱定量分析中的应用[J];分析化学;2007年03期
中国硕士学位论文全文数据库 前1条
1 张华;分析化学中的稳健回归及奇异点诊断方法研究[D];湖南大学;2006年
【共引文献】
中国期刊全文数据库 前10条
1 方国桢,方梅,汪敬;化学计量学在原子发射光谱分析元素形态中的应用[J];四川有色金属;1999年01期
2 王洪,傅志红,彭玉成;聚合物合成及成型过程研究的近红外光谱技术[J];工程塑料应用;2002年10期
3 吴立军;尤瑜生;冯典英;毛如增;王永连;;近红外光谱法测定ABS/PC材料的共混比[J];工程塑料应用;2006年10期
4 王国建;郭建龙;屈泽华;;碳纳米管的氨基化对环氧树脂力学性能的影响[J];工程塑料应用;2006年12期
5 王国建;鲍磊;程思;刘琳;;尼龙66/碳纳米管复合材料分散性与结晶性能的研究[J];工程塑料应用;2007年10期
6 董雄辎;田燕;司圣柱;;多元校正分析在多组分同时测定中的应用[J];安徽教育学院学报;2007年06期
7 王丽平;司圣柱;丁爱民;;校正变换矩阵法用于多组分染色剂的同时测定研究[J];合肥师范学院学报;2008年06期
8 刘波;张丽娟;苗保河;李向东;董庆裕;王凤娟;李凤兰;汪胜军;余松烈;刘立峰;;近红外光谱法与国标法测定大豆蛋白质和脂肪的比较[J];山东农业科学;2007年01期
9 朱明星,张德龙;RBF网络基函数中心选取算法的研究[J];安徽大学学报(自然科学版);2000年01期
10 冯守平;;全最小一乘法[J];安徽大学学报(自然科学版);2009年03期
中国重要会议论文全文数据库 前10条
1 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
2 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
3 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
4 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
5 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
6 ;LS-SVM Based Stable Generalized Predictive Control[A];第二十七届中国控制会议论文集[C];2008年
7 阎纲;梁昔明;龙祖强;李翔;;一种新的提前一步预测控制算法[A];第二十七届中国控制会议论文集[C];2008年
8 孙玉坤;王博;丁慎平;;基于模糊支持向量机的赖氨酸发酵软测量[A];第二十七届中国控制会议论文集[C];2008年
9 ;GA Based LS-SVM Classifier for Waste Water Treatment Process[A];第二十七届中国控制会议论文集[C];2008年
10 柴伟;孙先仿;乔俊飞;;有监督的等距映射和k近邻分类结合用于集员辨识[A];第二十九届中国控制会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 杨长强;激光扫描仪检校及车载激光点云的分类与矢量化研究[D];山东科技大学;2010年
2 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
3 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
4 陈祯;基于近红外光谱分析的土壤水分信息的提取与处理[D];华中科技大学;2010年
5 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
6 颜辉;植物油的亚油酸、亚麻酸红外光谱融合和模型优化方法的研究[D];江苏大学;2010年
7 黄富荣;人体血液胆固醇、甘油三酯近红外光谱无试剂分析方法研究[D];暨南大学;2010年
8 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
9 向国齐;支持向量回归机代理模型设计优化及应用研究[D];电子科技大学;2010年
10 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 李硕;基于Vis/NIR光谱不同粒径下土壤碳氮的预测研究[D];华中农业大学;2010年
2 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
3 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
4 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
5 胡红;矿区植物胁迫作用与遥感信息提取[D];山东科技大学;2010年
6 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
7 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
8 刘帅男;机织物规格要素与其光泽性能的关系研究[D];浙江理工大学;2010年
9 何文;近红外漫反射光谱结合PLS-ANN算法对药物有效成分的定量分析测定[D];郑州大学;2010年
10 李光远;基于在线聚类和最小二乘支持向量机的模糊建模方法研究[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前9条
1 徐广通,袁洪福,陆婉珍;现代近红外光谱技术及应用进展[J];光谱学与光谱分析;2000年02期
2 徐广通,袁洪福,陆婉珍;近红外光谱定量校正模型适用性研究[J];光谱学与光谱分析;2001年04期
3 王加华;韩东海;;基于遗传算法的苹果糖度近红外光谱分析[J];光谱学与光谱分析;2008年10期
4 杨辉华;覃锋;王义明;罗国安;;NIR光谱的Isomap-PLS非线性建模方法[J];光谱学与光谱分析;2009年02期
5 冯爱明;方利民;林敏;;近红外光谱分析中的高斯过程回归方法[J];光谱学与光谱分析;2011年06期
6 曹晖;周延;;多种群精英共享遗传算法在异常光谱识别中的应用[J];光谱学与光谱分析;2011年07期
7 包鑫;戴连奎;;加权最小二乘支持向量机稳健化迭代算法及其在光谱分析中的应用[J];化学学报;2009年10期
8 祝诗平;;基于PCA与GA的近红外光谱建模样品选择方法[J];农业工程学报;2008年09期
9 褚小立,袁洪福,陆婉珍;在线近红外光谱过程分析技术及其应用[J];现代科学仪器;2004年02期
【二级参考文献】
中国期刊全文数据库 前10条
1 高岩,张蓓莉;淡水养殖珍珠的颜色与拉曼光谱的关系[J];宝石和宝石学杂志;2001年03期
2 何谋春,朱选民,洪斌;云南元江红宝石中包裹体的拉曼光谱特征[J];宝石和宝石学杂志;2001年04期
3 刘昕;孙金玮;刘丹;;基于支持向量回归的非线性多功能传感器信号重构[J];传感技术学报;2006年04期
4 戴波;盛沙;唐建;田小平;;改进的Burg最大熵法在管道检测中的应用[J];传感技术学报;2007年06期
5 周江文;经典误差理论与抗差估计[J];测绘学报;1989年02期
6 董建,谢开贵;基于最小一乘准则的非线性回归模型研究[J];重庆师范学院学报(自然科学版);2001年04期
7 陈义,沈云中;非线性三维基准转换的稳健估计[J];大地测量与地球动力学;2003年04期
8 丁丽敏,计成,杨彩霞,戎易,刘向阳,范凌,王明仙;近红外光谱技术快速测定棉籽粕、菜籽粕真可利用氨基酸含量的研究[J];动物营养学报;2000年01期
9 王海军;刘贵忠;;基于支持向量机的信号自动检测算法[J];地震学报;2007年01期
10 孙金玮,刘昕,孙圣和;基于总体最小二乘的多功能传感器信号重构方法研究[J];电子学报;2004年03期
【相似文献】
中国期刊全文数据库 前10条
1 马江洪;最优B_f—稳健回归估计量的计算与截断值选择[J];西安公路交通大学学报;1994年04期
2 刘增富,郝治安;扬压力测压管水位预测的稳健回归方法[J];河北水利;2005年07期
3 冯国平,苏炳华,张世德,夏宗勤;放射免疫分析法数据处理计算机新软件的开发[J];核技术;1989年06期
4 车权,杨洪耕;基于稳健回归的谐波发射水平估计方法[J];中国电机工程学报;2004年04期
5 柳进,唐降龙,于继来;基于稳健回归的电网高峰负荷预测模型应用[J];数理统计与管理;2005年05期
6 韦东来;崔振山;杨晨光;陈军;阮雪榆;;稳健回归随机响应面法与冲压成形性容差预测[J];上海交通大学学报;2008年01期
7 周平;刘东风;石新发;李广太;;基于稳健回归的油液光谱分析界限值制定[J];润滑与密封;2010年05期
8 吴曾;张庆丰;;基于稳健回归的电力负荷预测[J];电力科学与工程;2009年04期
9 王波;韩一峰;王少华;;绝缘子污闪试验数据的稳健回归处理方法[J];电工电气;2011年04期
10 王少华;叶自强;陈金法;梅冰笑;罗盛;;采用稳健回归算法的绝缘子污闪电压预测方法[J];电网技术;2010年12期
中国重要会议论文全文数据库 前2条
1 缴锡云;雷志栋;彭世彰;;建立作物水分生产函数的稳健回归方法[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第二分册[C];2005年
2 曹其光;李姝昱;刘浩;陶家祥;张博;;稳健回归在大坝安全监测模型中的应用[A];中国原水论坛专辑[C];2010年
中国重要报纸全文数据库 前2条
1 本报记者 丁冰;保险公司主业仍稳健回归保障功能正当时[N];中国证券报;2008年
2 齐鲁证券高级宏观分析师 边绪宝;货币政策逐步走向稳健回归常态[N];证券时报;2010年
中国博士学位论文全文数据库 前2条
1 包鑫;稳健回归技术及其在光谱分析中的应用[D];浙江大学;2010年
2 成忠;PLSR用于化学化工建模的几个关键问题的研究[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 车权;基于谐波源检测与定位方法的研究[D];四川大学;2004年
2 张华;分析化学中的稳健回归及奇异点诊断方法研究[D];湖南大学;2006年
3 韩成栋;政府规模、政府的保护职能与经济增长[D];东北财经大学;2007年
4 陈红军;焦炭质量预测与优化配比算法的研究[D];辽宁科技大学;2008年
5 奇凤;基于稳健回归算法的作物水模型建模与灌溉制度优化[D];内蒙古农业大学;2008年
6 丁硕;稳健统计方法在股票投资组合中的应用研究[D];北京工业大学;2009年
7 白勇;小角度角位移传感器的设计与研究[D];东华大学;2009年
8 安少波;高速铁路路基沉降测试与分析[D];中南大学;2009年
9 邢小丽;电铁牵引供电系统谐波检测及背景谐波分析方法的研究[D];华北电力大学(河北);2008年
10 王航;基于稳健回归的我国各地区GDP数据质量评估[D];天津财经大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026