收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于半监督和迁移学习的近红外光谱建模方法研究

贺英  
【摘要】:在科学与经济飞速发展的当今时代,企业生产过程的自动化和智能化水平日益提高,传统的产品质量监控手段难以满足产品研发和生产控制的需求。近红外光谱分析技术(NIR)作为一种新型、快速高效的检测手段应运而生,大大提升了产品质量监督管理的工作效率,已经在石油、医药、烟草等行业中被广泛应用。 通过总结前期在“智能感官评估方法”课题的研究结论得知,当模型的输入是信息不够完备的常规化学成分指标时,难以建立分类性能良好的感官模拟评估模型。传统的实验室化学分析法往往检测的成分数量有限,而近红外光谱中包含了丰富的成分信息。近红外光谱分析通常应用于检测产品的化学成分含量方面,本文以近红外光谱作为研究对象,应用多种机器学习方法,深入分析近红外光谱中反映的卷烟产品质量以及卷烟配方中成分的关系。直接应用高维的光谱数据建立与产品质量之间的关系模型。 近年的实践应用表明,传统近红外光谱分析技术在面对成分复杂或背景噪声干扰较大的情况时,遇到了模型稳定性差、预测误差较大、建模样本量大、模型难以移植等许多实际问题,现有的近红外光谱建模技术亟待提升。本文从近红外光谱分析建模的基本原理、国内外研究现状分析入手,在转导推理思想的启发下,将半监督学习、迁移学习方法引入近红外光谱分析建模方法体系,主要围绕近红外高维光谱数据处理、光谱定性分析和定量分析建模、光谱分析模型传递四个关键技术内容展开深入研究。论文的主要研究内容为: 1)当近红外光谱与观测数据为非线性关系时,传统降维方法容易出现原始数据特征信息丢失、流形结构被破坏、数据分类性能下降等问题。本文提出一种半监督核邻域保护嵌入算法(SSKNPE)。该算法基于核变换距离将非线性问题转化为一个特征空间的线性问题,通过充分利用部分有标记样本的先验分类信息约束特征映射,使数据从高维映射到低维后仍能保持数据的全局结构和局部结构。实验验证,SSKNPE算法的降维质量优于LLE等传统流形学习算法,能更好地改善卷烟品牌识别近红外光谱分析模型的分类性能。 2)针对传统分类器的归纳推理机制存在的预测风险问题和大量有标记的训练样本的约束等问题,引入转导推理和半监督学习思想,提出了一种基于近邻传播聚类的半监督支持向量机算法(APS4VM)。算法将近邻传播聚类和混沌优化相结合,快速搜索多个间隔最大平面的低密度区域,确定安全分类的支持决策面。算法在少量标记样本的情况下,针对Iris数据集和卷烟口味评价数据进行实验验证。实验结果表明能够建立了性能良好、稳健的分类模型,半监督支持向量机具有实际工程应用价值,解决了标记样本不足时的卷烟近红外光谱定性分析建模困难的问题。 3)针对复杂非线性问题中传统近红外光谱定量建模方法预测性能较低,要求训练样本足够多等实际工程应用困难,提出一种基于量子粒子群优化的半监督支持向量回归算法(QPSO-LSS3VR)。该算法结合K近邻和置信度选样方法实现半监督学习中未标记样本估计,采用高效的量子粒子群优化算法搜索最佳的半监督支持向量机回归模型参数γ, λ,σ。卷烟总糖预测模型实验表明,该算法基于半监督学习思想,能在少量标记样本的情况下快速达到较低的预测标准误差,优化方法提高了建模的时间效率,同时降低了半监督建模成本,解决了标记样本不足时的卷烟近红外光谱定量分析建模困难的问题。 4)针对近红外光谱分析仪器之间模型通用性差的问题,分析现有模型传递方法的不适用性:建模所需的标准样本准备条件苛刻,实际操作复杂,传统统计方法传递后的模型预测性能偏低。本文创新性地应用迁移学习思想,提出一种新的近红外光谱模型传递算法,即基于相似匹配和迁移学习的模型传递算法(SM-TrBoostEns)。通过非线性降维方法将近红外光谱投影到低维空间,根据距离度量样品的相似性,筛选对目标仪器建模有益的样本进行知识迁移,并采用迁移式Boosting技术和集成学习相结合的方式传递模型。通过两台近红外设备之间的卷烟总糖预测模型传递实验表明,该算法在目标仪器采集较少标准样本光谱的情况下,仍能有效提升目标仪器回归预测精度,具有一定的实用性。实验同时也说明迁移学习方法可以在近红外光谱模型传递方面继续深入探索和改进。 5)总结本文的研究结论和创新工作,提出下一步研究工作重点将围绕半监督学习模型的预测输出置信度、异常光谱凸壳判别、特征波长筛选等方面开展研究,逐步建立起基于近红外光谱分析的产品质量评价等应用的技术框架。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 马宇;马衡;荆碧;何萌;;卤素双原子基团振动力常数、非谐性常数及谐振动波数关系[J];云南师范大学学报(自然科学版);1991年03期
2 王军,赵绪安,许振华;金属羰基化合物[CpFe(CO)_2]_2与金属氧化物表面作用的傅里叶变换漫反射和光声红外光谱研究[J];光谱学与光谱分析;1997年05期
3 琚宜文,姜波,侯泉林,王桂梁;构造煤结构成分应力效应的傅里叶变换红外光谱研究[J];光谱学与光谱分析;2005年08期
4 张彦辉;孙波;阎晓琦;裴娟;耿啸天;赵莹;王云友;颜剑波;;铕与苯乙酮酸、1,10-罗啉及三苯基氧膦配合物的合成、结构表征及荧光性能的研究[J];光谱学与光谱分析;2005年12期
5 王怡林;杨群;杨德;;航天育种甜椒、番茄品系种子的FTIR分析[J];光谱学与光谱分析;2006年06期
6 张忠厚;孙宾;刘婷;陈龙;朱美芳;陈彦模;;紫外光辐照对聚苯硫醚/纳米氧化钛复合材料的影响(英文)[J];中山大学学报(自然科学版);2007年S1期
7 张勇;金向军;谢云飞;赵冰;丛茜;;基于人工神经网络的淫羊藿红外光谱的研究[J];光谱学与光谱分析;2008年06期
8 虞丹尼;周光明;黎司;杨大成;;莽草酸FTIR,FT-Raman光谱及SERS研究[J];光谱学与光谱分析;2008年07期
9 朱忠丽;武宇芳;林海;陈良;赵立才;刘景和;;Ho~(3+):Yb~(3+):KLa(WO_4)_2激光晶体生长与性能(英文)[J];硅酸盐学报;2008年08期
10 卢保奇;亓利剑;夏义本;;四川软玉猫眼的谱学综合鉴定[J];上海地质;2008年03期
11 凌潇潇;王时麒;吴瑞华;师伟;;一种仿孔雀石材料的宝石学特征研究[J];宝石和宝石学杂志;2008年03期
12 刘安军;马志民;朱振元;王婷婷;张越;钟玥如;;猪脑中磷脂的提取及鉴定分析[J];现代食品科技;2008年10期
13 贾太轩;刘自力;张刚生;;翡翠贻贝珍珠层的XRD和FTIR光谱特征[J];光谱学与光谱分析;2009年01期
14 尹爱萍;侯雪峰;刘成琪;;磺胺类药物Co(Ⅱ)、Fe(Ⅱ)配合物的合成及表征[J];山西大学学报(自然科学版);2009年01期
15 周殿凤;;几种常见中药针剂的红外谱分析[J];光散射学报;2009年01期
16 吴新世;孙波;王菁;师慈;;一种新型高聚物生物可降解性评价[J];南开大学学报(自然科学版);2009年04期
17 刘庆杰;蔺启忠;王钦军;李慧;李帅;;基于连续统快速傅里叶变换的红外光谱处理技术[J];光谱学与光谱分析;2009年12期
18 王真;郭怀成;孙旭光;张蕤;;贵州盘县晚二叠世煤的生烃潜力与生烃模式[J];北京大学学报(自然科学版);2010年01期
19 湛敏;程江维;曹友东;吴友恒;张云怀;;藻胆蛋白简化分子结构的理论计算[J];中国细胞生物学学报;2010年02期
20 聂秋华;王国祥;王训四;徐铁峰;戴世勋;沈祥;;Ga对新型远红外Te基硫系玻璃光学性能的影响[J];物理学报;2010年11期
中国重要会议论文全文数据库 前10条
1 李新蕾;陈爱平;刘伟;卫上方;;合成溶剂黄21清洁工艺的开发[A];第九届全国染料与染色学术研讨会暨信息发布会论文集[C];2004年
2 卢洪波;苏桂秋;李萍;刘士祥;;基于红外光谱法的PVC垃圾热解特性研究[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
3 夏宗仁;吴剑波;郑威;徐玉恒;;高掺镁LiNbO_3晶体抗光折变性能研究[A];第五届中国功能材料及其应用学术会议论文集Ⅱ[C];2004年
4 魏京京;张启明;金少鸿;;近红外光谱法测定氯雷他定胶囊含量[A];2008年《药物分析杂志》第三届普析通用杯论文集[C];2008年
5 李家旺;司民真;;用傅立叶变换红外光谱法研究核辐照对三七粉成分的影响[A];第十五届全国光散射学术会议论文摘要集[C];2009年
6 王建平;;邻二醇分子超快动态结构[A];中国化学会第27届学术年会第12分会场摘要集[C];2010年
7 米高园;朱昌;;傅里叶红外光谱法测量SiO_2薄膜计量比[A];第八届全国信息获取与处理学术会议论文集[C];2010年
8 庞小峰;;在水中的纳米水分子的发现和它的特点及实验证实[A];第十三届全国原子与分子物理学术会议论文集[C];2006年
9 王吉有;邹兆贵;刘宾;李南征;孔乐;;木糖醇的红外光谱和拉曼光谱研究[A];第十五届全国光散射学术会议论文摘要集[C];2009年
10 冯绍彬;冯丽婷;胡芳红;张雷;;氯化亚铜加速青铜器腐蚀的研究[A];中国化学会第二十五届学术年会论文摘要集(上册)[C];2006年
中国博士学位论文全文数据库 前10条
1 吴维成;负载型碳化钼催化剂的制备、表征和选择加氢反应性能的研究[D];中国科学院研究生院(大连化学物理研究所);2004年
2 徐静涛;铜氧化物高温超导体空穴补偿效应和A位平均离子半径效应研究[D];中国科学技术大学;2009年
3 邓波;磁处理水的物理特性及其生物效应的研究[D];电子科技大学;2009年
4 黄保坤;溶剂效应及其对费米共振的影响[D];吉林大学;2006年
5 张留洋;溶剂和电子转移对费米共振的影响[D];吉林大学;2008年
6 张力群;基于红外光谱的离子液体溶液微观结构与相互作用研究[D];浙江大学;2010年
7 田福平;汽油馏分的吸附脱硫及红外光谱研究[D];大连理工大学;2006年
8 金向军;几种天然中药材的光谱分析[D];吉林大学;2007年
9 范协诚;MRAlO_4(M=Sr,Ca;R=La,Nd,Sm,Y)微波介质陶瓷的基础问题及其改性[D];浙江大学;2008年
10 秦霓;Ba_(6-3x)Ln_(8+2x)Ti_(18)O_(54)基微波介质陶瓷的改性及若干基础问题[D];浙江大学;2006年
中国硕士学位论文全文数据库 前10条
1 李兆凯;变换溶剂法研究费米共振效应[D];吉林大学;2006年
2 曹晓翠;硫醇自组装单分子膜结构及热脱附特性的红外反射谱研究[D];哈尔滨工业大学;2006年
3 岳贞菊;SEAM改性沥青的化学改性机理研究[D];重庆交通大学;2008年
4 赵丽茹;哈蟆油的紫外与红外光谱鉴别研究[D];长春中医药大学;2008年
5 孟慧琴;三氯蔗糖及其合成中间体的制备、分离与结构表征[D];暨南大学;2008年
6 宋捷;生物柴油混合燃料混合比车载监测方法研究[D];吉林大学;2009年
7 梁振兴;直接甲醇燃料电池Nafion~(?)膜的红外光谱表征和阻醇质子交换膜的研究[D];中国科学院研究生院(大连化学物理研究所);2004年
8 邓梁;红外光谱细胞水分检测系统设计与研究[D];西北工业大学;2006年
9 董颖;电气石红外辐射特性与Zeta电位研究[D];中国地质大学(北京);2005年
10 吉卉;基于红外光谱的花椒品质快速检测技术研究[D];西北农林科技大学;2010年
中国重要报纸全文数据库 前10条
1 陈锐;红外光谱——诊断肿瘤又一利器[N];大众卫生报;2004年
2 陈锐 郭晓斌;红外光谱快速准确诊断肿瘤[N];家庭医生报;2004年
3 陈锐;红外光谱三分钟诊肿瘤[N];健康报;2004年
4 陈锐 郭晓斌;只用3~5分钟红外光谱实现快速准确诊断肿瘤[N];医药经济报;2004年
5 马斌睿;红外光谱用于中药质控大有可为[N];中国中医药报;2003年
6 马斌睿;红外光谱在中药检验中的应用[N];中国中医药报;2003年
7 龚翔;中药快速识别的“武器”[N];中国医药报;2003年
8 辛浪;字画真假:科技鉴定帮大忙[N];市场报;2004年
9 马艳红;专家建议迅速推广中药红外光谱检测技术[N];中国医药报;2004年
10 本报记者 孙晨;解读中药产业的高新技术[N];中国高新技术产业导报;2001年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978