收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分类器设计中的正则化技术研究

薛晖  
【摘要】: 正则化技术诞生于20世纪60年代,最初是由数学领域提出用于解决不适定问题。随着80年代机器学习的兴起,正则化技术被广泛应用于模式识别的各个领域。其通过引入含有问题先验知识的正则化项使解稳定的思想渗透在各种算法的设计中,并衍生出许多著名的方法,例如:正则化网络(Regularization Networks,RNs),正则化最小二乘分类器(Regularized Least-squares Classification,RLSC),支持向量机(Support Vector Machines,SVMs)和流形正则化(Manifold Regularization,MR)等等。本文着眼于模式识别中的重要环节之一――分类器设计,从正则化分类器的推广性能、正则化项的构建以及分类器对先验知识的融合等诸多层面,系统深入地研究了分类器设计中的正则化技术。本文的主要贡献在于: 1.从正则化的角度提出了一个新的基于平方误差准则分类器的推广误差界。新的局部性正则化推广误差界将分类器的推广误差限定在每个样本的局部邻域内,融入了数据空间的结构信息,克服了原有推广误差界(如VC维)只适用于线性分类器的缺点,并引入了可调节的正则化参数,增强了误差界的灵活性。在此基础上,本文进一步提出了一种新的分类器设计方法――局部性正则化方法(Locality Regularization,LR)。新方法具有两个显著的特点:(1)根据推广误差界,自然地由期望风险函数的定义导出正则化项;(2)通过与谱图理论、流形学习相结合,将正则化项构建在样本的局部可变邻域上,融合了数据空间的全局和局部结构信息,提高了分类器的推广性能。实验验证了新算法在所用数据集上,尤其是对于训练和测试样本分布不均衡的数据集,具有比经典正则化方法更优的分类性能。 2.进一步拓展了局部性正则化方法的应用领域,提出了一种基于局部性正则化推广误差界的特征选择算法。作为一种混合滤波-封装方法,新算法以局部性正则化推广误差界为评价函数,以局部性正则化方法为目标分类器,既保持了较高的计算效率,又保证了利用所选择特征设计的分类器具有良好的推广性能。 3.针对传统正则化方法仅关注分类器数据独立的光滑性惩罚这一缺点,提出了一种数据依赖正则化项的构建理念――判别正则化项(Discriminative Regularization Term,Rdisreg)。新的判别正则化项主要侧重于:(1)分类器输出空间中数据的可分性,通过采用不同的方式定义输出样本的类内紧凑性和类间分离性,逐步地在正则化项中引入有助于分类的样本判别信息和结构信息;(2)始终保持只含有一个需要调节的正则化因子,有效地避免多类分类优化问题中潜在的“维数灾难”;(3)较强的推广性,通过将其与不同的损失函数、正则化项相结合,可以衍生出更多新的算法,从而最终为分类器设计提供一种新的途径。本文以最小二乘损失函数为例,在嵌入了判别信息的基础上,逐步在判别正则化项中融入全局和局部结构信息,提出了两种判别性正则化方法(Discriminative Regularization,DR)。通过在目标函数中嵌入等性约束,新算法不但可解析求解,并且求解框架自然地涵盖了两类和多类问题。实验验证了新算法优越的推广性和良好的稳定性。 4.支持向量机(SVM)是一种典型的正则化分类器,本文首次尝试从数据结构粒度的观点揭示了SVM及其相关改进方法之间的关系,构建了一个结构正则化大间隔分类器框架,并在此基础上,进一步提出了一种新的大间隔算法――结构正则化支持向量机(Structurally Regularized Support Vector Machine,SRSVM)。通过将数据的聚类结构信息以一个新的正则化项的形式嵌入到传统的SVM目标函数中,新方法主要着重于:(1)保持传统SVM的优化框架,显著降低同类算法的计算复杂度,简化核化过程,快捷有效地收敛到全局最优解,并保持解的稀疏性;(2)从理论上严格证明,数据结构信息的引入确实能够得到比SVM更好的推广性能。 5.根据“没有免费午餐定理”,本文对正则化技术的研究都涉及如何在正则化分类器中尽可能地融入数据的先验知识,其中包括判别信息、结构信息等。因此,如何有效地从数据中挖掘出结构信息也是本文的一个研究方向,由此提出了一种新的鲁棒局部嵌入算法。新算法从样本的鲁棒重建入手,同时考虑了数据流形的全局和局部结构信息,具有比通常流形算法LLE更紧致的嵌入,并有效地抑制了野值对嵌入的影响。在分类器设计上的初步实验表明,新算法的引入进一步提高了正则化分类器的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 侯卫东,莫玉龙;动态电阻抗图象重建的正则化方法[J];计算机工程;2001年09期
2 张正贤;蒋大为;张莹;危才华;;一种快速稳健的超分辨率图像复原算法[J];计算机工程与应用;2006年04期
3 邓伟杰;郑立功;史亚莉;王孝坤;张学军;;基于线性代数和正则化方法的驻留时间算法[J];光学精密工程;2007年07期
4 江鹏;彭黎辉;萧德云;;Gaussian窗函数在电容成像图像重建中的应用[J];清华大学学报(自然科学版);2007年01期
5 陈远旭;罗予频;胡东成;;基于PDE正则化的超分辨率图像重构方法[J];计算机工程;2007年22期
6 江鹏;彭黎辉;萧德云;;采用二阶导数阵作为正则化的电容成像图像重建算法[J];化工学报;2008年02期
7 胡学刚;吴勇;刘艳;;一种变步长迭代正则化图像复原的新算法[J];计算机应用研究;2010年04期
8 吴泽彬;韦志辉;孙乐;刘建军;;基于迭代加权L1正则化的高光谱混合像元分解[J];南京理工大学学报;2011年04期
9 钱祖平,洪伟;直接反演非均匀介质柱的一种新方法[J];微波学报;1999年04期
10 刘超,刁现芬,汪元美;超声逆散射成像问题中的正则化方法研究[J];浙江大学学报(工学版);2005年02期
11 汪雄良;王正明;赵侠;朱炬波;;基于l_k范数正则化方法的SAR图像超分辨[J];宇航学报;2005年S1期
12 郭远军;唐治德;;一种改进的正则化空域图像复原新方法[J];重庆大学学报(自然科学版);2007年01期
13 马青华;靳伟萍;;数字图像恢复的迭代投影正则化方法研究[J];计算机工程与应用;2008年32期
14 汪春华;王新房;;热传导反问题中相变界面的实时跟踪[J];自动化技术与应用;2008年12期
15 聂笃宪;袁利国;文有为;;应用粒子群优化算法选择正则化参数[J];计算机工程与应用;2009年12期
16 孙肖;李维国;;原对偶积极集法求解改进的有界约束图像恢复问题[J];中国图象图形学报;2009年03期
17 徐源璟;汪俏珏;沈焕锋;李平湘;张洪艳;;基于刃边法与正则化方法的遥感影像复原[J];测绘信息与工程;2010年06期
18 曾三友,丁立新,康立山;一种改进的正则图象[J];小型微型计算机系统;2003年07期
19 王岩,梁甸农,郭汉伟;基于正则化增强的SAR图像分割方法[J];信号处理;2003年03期
20 曾三友,丁立新,康立山;一种不需噪声能量信息的准最佳正则图像复原[J];计算机工程;2004年17期
中国重要会议论文全文数据库 前10条
1 杨元喜;徐天河;;综合验前模型信息和验后观测信息的自适应正则化方法[A];《大地测量与地球动力学进展》论文集[C];2004年
2 孙娅;柳建新;童孝忠;;正则化方法在地球物理不适定反演中研究现状[A];中国地球物理·2009[C];2009年
3 方涵先;黄思训;韩月琪;;改进的变分伴随理论在探空仪测风中的应用研究[A];第二十届全国水动力学研讨会文集[C];2007年
4 姜欣荣;陈文;王福章;;基于正则化方法的边界节点法[A];中国力学学会学术大会'2009论文摘要集[C];2009年
5 韩旭;刘杰;姜潮;;不确定性结构的动态载荷识别[A];中国力学学会学术大会'2009论文摘要集[C];2009年
6 苗晴;唐斌兵;周海银;;基于约束最小二乘的空域迭代图像复原[A];第三届全国信息获取与处理学术会议论文集[C];2005年
7 李冬梅;瞿英;;基于正则神经网络算法的混沌系统的辨识研究[A];2005中国控制与决策学术年会论文集(上)[C];2005年
8 苏利敏;王耀威;王彦飞;;基于SAR特征的正则化计算方法及其在纹理分类中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
9 段希涛;刘超;江成顺;;一种基于Hilbert-Huang变换的正则化图像恢复算法[A];2004中国控制与决策学术年会论文集[C];2004年
10 崔岩;王彦飞;杨长春;;波阻抗反演计算的正则化重开始共轭梯度法研究[A];中国地球物理学会第二十四届年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 王林军;正则化方法及其在动态载荷识别中的应用[D];湖南大学;2011年
2 吴磊;(?)_p正则化问题的算法研究[D];湖南大学;2013年
3 方晟;基于正则化的高倍加速并行磁共振成像技术[D];清华大学;2010年
4 邓志亮;两类不适定问题的正则化方法研究[D];兰州大学;2010年
5 郑光辉;分数阶偏微分方程几类反问题的正则化方法[D];兰州大学;2012年
6 尤琼;基于小波有限元与一阶Tikhonov正则化的移动车载识别研究[D];南京航空航天大学;2012年
7 蒋代军;偏微分方程中参数识别问题的理论分析和数值方法[D];武汉大学;2012年
8 卢艺烽;基于分数幂扰动的不适定问题的正则化方法[D];华中科技大学;2013年
9 焦雨领;稀疏约束下反问题理论与算法的研究[D];武汉大学;2014年
10 邱春雨;几类反问题的正则化方法研究[D];兰州大学;2011年
中国硕士学位论文全文数据库 前10条
1 毛海舟;求解第一类Fredholm积分方程的正则化方法及应用[D];上海交通大学;2010年
2 张卫华;具Robin边值的反向热传导问题的几种正则化方法[D];兰州大学;2010年
3 李中锋;两个数学物理反问题的Landweber迭代正则化方法[D];兰州大学;2010年
4 刘媛媛;动力系统方法在反问题数值求解中的应用[D];吉林大学;2009年
5 高源;正则化最小二乘结合偏微分方程的图像复原技术研究[D];哈尔滨理工大学;2010年
6 李文琪;矩形区域上具有非齐次Neumann数据的Laplace方程Cauchy问题的正则化方法研究[D];兰州大学;2011年
7 王远磊;基于正则化与粒子群算法的PCS纳米颗粒测量反演算法研究[D];山东理工大学;2010年
8 程华;一种基于正则化偏微分方程的图像恢复算法[D];福州大学;2005年
9 王冠;二维散射问题的积分方程方法及其数值实现[D];吉林大学;2010年
10 王媛媛;Laplace方程Cauchy问题的一种正则化方法[D];兰州大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978