收藏本站
《中国海洋大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

基于半监督和迁移学习的近红外光谱建模方法研究

贺英  
【摘要】:在科学与经济飞速发展的当今时代,企业生产过程的自动化和智能化水平日益提高,传统的产品质量监控手段难以满足产品研发和生产控制的需求。近红外光谱分析技术(NIR)作为一种新型、快速高效的检测手段应运而生,大大提升了产品质量监督管理的工作效率,已经在石油、医药、烟草等行业中被广泛应用。 通过总结前期在“智能感官评估方法”课题的研究结论得知,当模型的输入是信息不够完备的常规化学成分指标时,难以建立分类性能良好的感官模拟评估模型。传统的实验室化学分析法往往检测的成分数量有限,而近红外光谱中包含了丰富的成分信息。近红外光谱分析通常应用于检测产品的化学成分含量方面,本文以近红外光谱作为研究对象,应用多种机器学习方法,深入分析近红外光谱中反映的卷烟产品质量以及卷烟配方中成分的关系。直接应用高维的光谱数据建立与产品质量之间的关系模型。 近年的实践应用表明,传统近红外光谱分析技术在面对成分复杂或背景噪声干扰较大的情况时,遇到了模型稳定性差、预测误差较大、建模样本量大、模型难以移植等许多实际问题,现有的近红外光谱建模技术亟待提升。本文从近红外光谱分析建模的基本原理、国内外研究现状分析入手,在转导推理思想的启发下,将半监督学习、迁移学习方法引入近红外光谱分析建模方法体系,主要围绕近红外高维光谱数据处理、光谱定性分析和定量分析建模、光谱分析模型传递四个关键技术内容展开深入研究。论文的主要研究内容为: 1)当近红外光谱与观测数据为非线性关系时,传统降维方法容易出现原始数据特征信息丢失、流形结构被破坏、数据分类性能下降等问题。本文提出一种半监督核邻域保护嵌入算法(SSKNPE)。该算法基于核变换距离将非线性问题转化为一个特征空间的线性问题,通过充分利用部分有标记样本的先验分类信息约束特征映射,使数据从高维映射到低维后仍能保持数据的全局结构和局部结构。实验验证,SSKNPE算法的降维质量优于LLE等传统流形学习算法,能更好地改善卷烟品牌识别近红外光谱分析模型的分类性能。 2)针对传统分类器的归纳推理机制存在的预测风险问题和大量有标记的训练样本的约束等问题,引入转导推理和半监督学习思想,提出了一种基于近邻传播聚类的半监督支持向量机算法(APS4VM)。算法将近邻传播聚类和混沌优化相结合,快速搜索多个间隔最大平面的低密度区域,确定安全分类的支持决策面。算法在少量标记样本的情况下,针对Iris数据集和卷烟口味评价数据进行实验验证。实验结果表明能够建立了性能良好、稳健的分类模型,半监督支持向量机具有实际工程应用价值,解决了标记样本不足时的卷烟近红外光谱定性分析建模困难的问题。 3)针对复杂非线性问题中传统近红外光谱定量建模方法预测性能较低,要求训练样本足够多等实际工程应用困难,提出一种基于量子粒子群优化的半监督支持向量回归算法(QPSO-LSS3VR)。该算法结合K近邻和置信度选样方法实现半监督学习中未标记样本估计,采用高效的量子粒子群优化算法搜索最佳的半监督支持向量机回归模型参数γ, λ,σ。卷烟总糖预测模型实验表明,该算法基于半监督学习思想,能在少量标记样本的情况下快速达到较低的预测标准误差,优化方法提高了建模的时间效率,同时降低了半监督建模成本,解决了标记样本不足时的卷烟近红外光谱定量分析建模困难的问题。 4)针对近红外光谱分析仪器之间模型通用性差的问题,分析现有模型传递方法的不适用性:建模所需的标准样本准备条件苛刻,实际操作复杂,传统统计方法传递后的模型预测性能偏低。本文创新性地应用迁移学习思想,提出一种新的近红外光谱模型传递算法,即基于相似匹配和迁移学习的模型传递算法(SM-TrBoostEns)。通过非线性降维方法将近红外光谱投影到低维空间,根据距离度量样品的相似性,筛选对目标仪器建模有益的样本进行知识迁移,并采用迁移式Boosting技术和集成学习相结合的方式传递模型。通过两台近红外设备之间的卷烟总糖预测模型传递实验表明,该算法在目标仪器采集较少标准样本光谱的情况下,仍能有效提升目标仪器回归预测精度,具有一定的实用性。实验同时也说明迁移学习方法可以在近红外光谱模型传递方面继续深入探索和改进。 5)总结本文的研究结论和创新工作,提出下一步研究工作重点将围绕半监督学习模型的预测输出置信度、异常光谱凸壳判别、特征波长筛选等方面开展研究,逐步建立起基于近红外光谱分析的产品质量评价等应用的技术框架。
【学位授予单位】:中国海洋大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:O242.1;TP181

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 刘旭华;闵顺耕;何雄奎;张录达;;近红外光谱逆回归降维定量分析模型[J];光谱学与光谱分析;2011年08期
2 李刚;赵喆;刘蕊;王慧泉;林凌;张宝菊;吴晓荣;;尿微量白蛋白的可见-近红外光谱检测[J];光谱学与光谱分析;2011年09期
3 郭峥;袁洪福;张娴;宋春风;李效玉;谢锦春;;复合肥料多种养分含量快速分析新方法[J];光谱学与光谱分析;2011年09期
4 覃鸿;王徽蓉;李卫军;金小贤;;基于DPLS特征提取的LDA方法在玉米近红外光谱定性分析中的应用[J];光谱学与光谱分析;2011年07期
5 苗福生;马毅;汪西原;刘丹;;不同预处理方法对PLS模型检测鲜长枣糖度的影响[J];宁夏大学学报(自然科学版);2011年02期
6 周扬;吕进;刘铁兵;施秧;戴曙光;;小波域高斯混合模型方差估计近红外降噪方法[J];光电工程;2011年08期
7 姚霞;汤守鹏;曹卫星;田永超;朱艳;;应用近红外光谱估测小麦叶片氮含量[J];植物生态学报;2011年08期
8 孙旭东;郝勇;蔡丽君;刘燕德;;基于抽取和连续投影算法的可见近红外光谱变量筛选[J];光谱学与光谱分析;2011年09期
9 孙旭东;郝勇;蔡丽君;刘燕德;;南丰蜜桔可溶性固形物近红外检测的多元线性回归变量筛选[J];生物物理学报;2011年08期
10 陈红光;张云鹤;敖长林;中野和宏;王健;;农产品品质无损检测技术应用研究[J];农机化研究;2011年09期
中国重要会议论文全文数据库 前10条
1 田高友;;轻质石油燃料质量指标近红外光谱分析方法标准研究[A];科学仪器服务民生学术大会论文集[C];2011年
2 徐云;王一鸣;吴静珠;;基于近红外光谱的未知类别样品聚类方法研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
3 王晓燕;韩鲁佳;黄光群;;基于近红外光谱的鸡粪工厂化堆肥过程理化指标速测分析研究[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集[C];2009年
4 邵学广;卞希慧;蔡文生;;近红外光谱多元校正方法研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
5 熊来怡;胡耀华;刘聪;陈康乐;郭康权;;近红外光谱检测猪肉挥发性盐基氮含量及其品质安全判别研究[A];中国农业工程学会2011年学术年会论文集[C];2011年
6 路春霞;刘源;孙晓红;潘迎捷;赵勇;;基于培养液的傅里叶变换近红外光谱指纹区分食源性致病菌的研究[A];中国食品科学技术学会第八届年会暨第六届东西方食品业高层论坛论文摘要集[C];2011年
7 李祥辉;林振宇;林燕琴;林艺冰;杨方;王丹红;陈国南;;傅里叶近红外光谱结合化学计量学快速检测食品中的塑化剂[A];中国化学会第28届学术年会第14分会场摘要集[C];2012年
8 董文江;倪永年;;近红外光谱结合化学计量学检测和定量中药白前的两种混伪品[A];中国化学会第28届学术年会第14分会场摘要集[C];2012年
9 赵艳茹;张淑娟;余克强;;基于近红外光谱的山楂SSC动态检测研究[A];中国农业工程学会2011年学术年会论文集[C];2011年
10 毛志毅;蔡文生;邵学广;;基于小波变换的复杂体系近红外光谱定量分析方法研究[A];中国化学会第28届学术年会第14分会场摘要集[C];2012年
中国重要报纸全文数据库 前10条
1 记者 李犁;近红外光谱专业委员会云南物联站成立[N];云南日报;2011年
2 记者 王晓冬;桂林:近红外初筛中药命中率达90%[N];中国医药报;2010年
3 记者 王丹;我国药品快检技术国际领先[N];健康报;2009年
4 吴玉田殷学平;中药质量控制又添新武器——小波变换近红外光谱分析系统[N];中国医药报;2004年
5 范世福;分析仪器发展应顺应现代科技趋势[N];中国机电日报;2001年
6 记者 余彬 通讯员 张海东 邓小梅;武大千余毕业博士硕士留鄂工作[N];湖北日报;2002年
7 晓艳;激光技术查牙病[N];医药经济报;2003年
8 ;新技术新方法广泛用于抗生素分析[N];中国医药报;2003年
9 记者 李天舒;猪肉牛乳检测有新法[N];健康报;2010年
10 政轩 陈志奎;江大赵杰文教授指导博士论文入选“全国优秀博士学位论文”[N];镇江日报;2008年
中国博士学位论文全文数据库 前10条
1 贺英;基于半监督和迁移学习的近红外光谱建模方法研究[D];中国海洋大学;2012年
2 樊景超;苹果果实病害近红外光谱信息获取与识别模型研究[D];中国农业科学院;2011年
3 黄富荣;人体血液胆固醇、甘油三酯近红外光谱无试剂分析方法研究[D];暨南大学;2010年
4 樊玉霞;猪肉肉糜品质与安全可见/近红外光谱快速检测方法的实验研究[D];浙江大学;2011年
5 张龙;植源性农产品溯源以及鉴别技术研究[D];浙江大学;2012年
6 柳俊;近红外光谱分析技术在白芍中药配方颗粒制备过程中的应用研究[D];广州中医药大学;2011年
7 淡图南;基于光谱分析的燃油组分检测技术研究[D];浙江大学;2011年
8 丁海泉;无创血糖检测中的近红外血流容积光谱基本问题研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2010年
9 贾燕花;近红外光谱分析技术在化学药品生产过程控制应用初探[D];北京协和医学院;2011年
10 王彬;近红外光谱结合化学计量学在药物无损定量分析中的应用研究[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 闫灵;基于近红外光谱的转基因菜籽油快速鉴别机理研究[D];西南大学;2010年
2 钱磊;基于USB的近红外脑组织血氧检测系统的研制[D];武汉理工大学;2010年
3 丁家欣;中药炮制辅料蜂蜜质量分析的近红外光谱实验研究[D];中国中医科学院;2010年
4 张华秀;近红外光谱法快速检测牛奶中蛋白质与脂肪含量[D];中南大学;2010年
5 惠娜;近红外光谱分析技术在党参及复方丹参片质量控制中的应用[D];兰州大学;2011年
6 朱丽;造纸用毛白杨综纤维素含量的近红外光谱预测模型[D];北京林业大学;2011年
7 王奇云;柴油十六烷值近红外机理模型开发[D];中国石油大学;2010年
8 潘建超;近红外光谱分析技术对痰热清注射液配方药材的质量控制研究[D];华东理工大学;2010年
9 李有志;三倍体毛白杨NIR预测及制浆造纸性能评估[D];北京林业大学;2011年
10 陈玲玲;近红外无创血糖浓度检测技术的初步研究[D];黑龙江大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026