收藏本站
《南京航空航天大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

分类器设计中的正则化技术研究

薛晖  
【摘要】: 正则化技术诞生于20世纪60年代,最初是由数学领域提出用于解决不适定问题。随着80年代机器学习的兴起,正则化技术被广泛应用于模式识别的各个领域。其通过引入含有问题先验知识的正则化项使解稳定的思想渗透在各种算法的设计中,并衍生出许多著名的方法,例如:正则化网络(Regularization Networks,RNs),正则化最小二乘分类器(Regularized Least-squares Classification,RLSC),支持向量机(Support Vector Machines,SVMs)和流形正则化(Manifold Regularization,MR)等等。本文着眼于模式识别中的重要环节之一――分类器设计,从正则化分类器的推广性能、正则化项的构建以及分类器对先验知识的融合等诸多层面,系统深入地研究了分类器设计中的正则化技术。本文的主要贡献在于: 1.从正则化的角度提出了一个新的基于平方误差准则分类器的推广误差界。新的局部性正则化推广误差界将分类器的推广误差限定在每个样本的局部邻域内,融入了数据空间的结构信息,克服了原有推广误差界(如VC维)只适用于线性分类器的缺点,并引入了可调节的正则化参数,增强了误差界的灵活性。在此基础上,本文进一步提出了一种新的分类器设计方法――局部性正则化方法(Locality Regularization,LR)。新方法具有两个显著的特点:(1)根据推广误差界,自然地由期望风险函数的定义导出正则化项;(2)通过与谱图理论、流形学习相结合,将正则化项构建在样本的局部可变邻域上,融合了数据空间的全局和局部结构信息,提高了分类器的推广性能。实验验证了新算法在所用数据集上,尤其是对于训练和测试样本分布不均衡的数据集,具有比经典正则化方法更优的分类性能。 2.进一步拓展了局部性正则化方法的应用领域,提出了一种基于局部性正则化推广误差界的特征选择算法。作为一种混合滤波-封装方法,新算法以局部性正则化推广误差界为评价函数,以局部性正则化方法为目标分类器,既保持了较高的计算效率,又保证了利用所选择特征设计的分类器具有良好的推广性能。 3.针对传统正则化方法仅关注分类器数据独立的光滑性惩罚这一缺点,提出了一种数据依赖正则化项的构建理念――判别正则化项(Discriminative Regularization Term,Rdisreg)。新的判别正则化项主要侧重于:(1)分类器输出空间中数据的可分性,通过采用不同的方式定义输出样本的类内紧凑性和类间分离性,逐步地在正则化项中引入有助于分类的样本判别信息和结构信息;(2)始终保持只含有一个需要调节的正则化因子,有效地避免多类分类优化问题中潜在的“维数灾难”;(3)较强的推广性,通过将其与不同的损失函数、正则化项相结合,可以衍生出更多新的算法,从而最终为分类器设计提供一种新的途径。本文以最小二乘损失函数为例,在嵌入了判别信息的基础上,逐步在判别正则化项中融入全局和局部结构信息,提出了两种判别性正则化方法(Discriminative Regularization,DR)。通过在目标函数中嵌入等性约束,新算法不但可解析求解,并且求解框架自然地涵盖了两类和多类问题。实验验证了新算法优越的推广性和良好的稳定性。 4.支持向量机(SVM)是一种典型的正则化分类器,本文首次尝试从数据结构粒度的观点揭示了SVM及其相关改进方法之间的关系,构建了一个结构正则化大间隔分类器框架,并在此基础上,进一步提出了一种新的大间隔算法――结构正则化支持向量机(Structurally Regularized Support Vector Machine,SRSVM)。通过将数据的聚类结构信息以一个新的正则化项的形式嵌入到传统的SVM目标函数中,新方法主要着重于:(1)保持传统SVM的优化框架,显著降低同类算法的计算复杂度,简化核化过程,快捷有效地收敛到全局最优解,并保持解的稀疏性;(2)从理论上严格证明,数据结构信息的引入确实能够得到比SVM更好的推广性能。 5.根据“没有免费午餐定理”,本文对正则化技术的研究都涉及如何在正则化分类器中尽可能地融入数据的先验知识,其中包括判别信息、结构信息等。因此,如何有效地从数据中挖掘出结构信息也是本文的一个研究方向,由此提出了一种新的鲁棒局部嵌入算法。新算法从样本的鲁棒重建入手,同时考虑了数据流形的全局和局部结构信息,具有比通常流形算法LLE更紧致的嵌入,并有效地抑制了野值对嵌入的影响。在分类器设计上的初步实验表明,新算法的引入进一步提高了正则化分类器的性能。
【学位授予单位】:南京航空航天大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP181

知网文化
【引证文献】
中国博士学位论文全文数据库 前1条
1 陈斌;异常检测方法及其关键技术研究[D];南京航空航天大学;2013年
中国硕士学位论文全文数据库 前3条
1 汪钰;基于FK变换的CCA正则化技术及其推广性能研究[D];南京理工大学;2011年
2 徐迅燕;基于谱正则化技术的典型相关分析方法研究[D];南京理工大学;2013年
3 陈良;恶意代码检测中若干关键技术研究[D];扬州大学;2012年
【参考文献】
中国期刊全文数据库 前4条
1 李仁璞,王正欧;一种结构自适应的神经网络特征选择方法[J];计算机研究与发展;2002年12期
2 朱明,王俊普,蔡庆生;一种最优特征集的选择算法[J];计算机研究与发展;1998年09期
3 詹德川;周志华;;基于相关投影分的特征选择算法[J];计算机科学与探索;2007年02期
4 毛勇;周晓波;夏铮;尹征;孙优贤;;特征选择算法研究综述[J];模式识别与人工智能;2007年02期
【共引文献】
中国期刊全文数据库 前10条
1 王全凤;郑浩;;基于径向基函数神经网络的高层建筑结构选型[J];四川建筑科学研究;2010年05期
2 张根耀,李竹林,赵宗涛;遮挡情况下运动目标的跟踪[J];安徽大学学报(自然科学版);2003年03期
3 陈弋兰;王鸣;孙书诚;;朴素贝叶斯分类器的误差估计[J];安徽工程科技学院学报(自然科学版);2008年04期
4 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
5 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
6 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
7 张红涛;胡玉霞;张恒源;顾波;;储粮害虫图像识别中的特征压缩研究[J];安徽农业科学;2008年27期
8 张昭;何东健;;基于计算机视觉的竹块颜色分类方法研究[J];安徽农业科学;2010年26期
9 汪洁;朱军;;基于Linux的中文垃圾邮件过滤系统设计与实现[J];安徽农业大学学报;2011年02期
10 王尔丹;人群运动与密度估计技术研究[J];安全;2005年03期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
3 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
4 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
5 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
6 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
7 刘志斌;金连文;;候选字静态生成技术及其在两级LDA汉字识别中的应用[A];第二十六届中国控制会议论文集[C];2007年
8 张彬;金连文;;基于AdaBoost的手写体汉字相似字符识别[A];第二十六届中国控制会议论文集[C];2007年
9 吕蓬;柳亦兵;马强;魏于凡;;支持向量机在齿轮智能故障诊断中的应用研究[A];第二十六届中国控制会议论文集[C];2007年
10 梁禹;王义刚;王娜;;基于支持向量机的电力电子电路故障诊断[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
3 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
4 任桢;图像分类任务的关键技术研究[D];哈尔滨工程大学;2010年
5 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
6 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
7 乔小燕;基于生物形态学的赤潮藻显微图像分割与特征提取研究[D];中国海洋大学;2010年
8 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
9 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
10 陈志国;基于群体智能的机器视觉的关键技术研究[D];江南大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
3 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
4 廖甜甜;白细胞图像语义识别分类的研究[D];南昌航空大学;2010年
5 黄正荣;基于振动波的高速公路车辆行驶状态辨识理论研究[D];南昌航空大学;2010年
6 刘棉;人机划拳系统的实现[D];山东科技大学;2010年
7 刘桂珍;颅骨三维重建与信息提取[D];山东科技大学;2010年
8 马冉冉;集成学习算法研究[D];山东科技大学;2010年
9 张海峰;空间三维信息重构与飞行器路径规划[D];山东科技大学;2010年
10 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 潘志松;陈斌;缪志敏;倪桂强;;One-Class分类器研究[J];电子学报;2009年11期
2 蒲晓丰;雷武虎;张林虎;蒋奇材;;基于Fukunaga-Koontz变换的高光谱图像异常检测[J];红外技术;2010年04期
3 刘瑞明;刘尔琦;杨杰;张田昊;王芳琳;;核Fukunaga-Koontz变换检测红外小目标[J];红外与毫米波学报;2008年01期
4 金忠,胡钟山,杨静宇,刘克,孙靖夷;手写体数字有效鉴别特征的抽取与识别[J];计算机研究与发展;1999年12期
5 彭岩;张道强;;局部判别型典型相关分析算法[J];计算机工程与应用;2008年21期
6 吴瀛;江建慧;张蕊;;基于系统调用的入侵检测研究进展[J];计算机科学;2011年01期
7 白莉莉;庞建民;张一弛;岳峰;;基于关键应用编程接口图的恶意代码检测[J];计算机工程;2010年09期
8 胡钟山,娄震,杨静宇,刘克,孙靖夷;基于多分类器组合的手写体数字识别[J];计算机学报;1999年04期
9 张军平,王珏;主曲线研究综述[J];计算机学报;2003年02期
10 孙权森,曾生根,王平安,夏德深;典型相关分析的理论及其在特征融合中的应用[J];计算机学报;2005年09期
中国博士学位论文全文数据库 前1条
1 孙廷凯;增强型典型相关分析研究与应用[D];南京航空航天大学;2006年
中国硕士学位论文全文数据库 前1条
1 汪钰;基于FK变换的CCA正则化技术及其推广性能研究[D];南京理工大学;2011年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 徐迅燕;基于谱正则化技术的典型相关分析方法研究[D];南京理工大学;2013年
【二级参考文献】
中国期刊全文数据库 前1条
1 高仁祥,张世英,刘豹;基于神经网络的变量选择方法[J];系统工程学报;1998年02期
【相似文献】
中国期刊全文数据库 前10条
1 侯卫东,莫玉龙;动态电阻抗图象重建的正则化方法[J];计算机工程;2001年09期
2 张正贤;蒋大为;张莹;危才华;;一种快速稳健的超分辨率图像复原算法[J];计算机工程与应用;2006年04期
3 邓伟杰;郑立功;史亚莉;王孝坤;张学军;;基于线性代数和正则化方法的驻留时间算法[J];光学精密工程;2007年07期
4 江鹏;彭黎辉;萧德云;;Gaussian窗函数在电容成像图像重建中的应用[J];清华大学学报(自然科学版);2007年01期
5 陈远旭;罗予频;胡东成;;基于PDE正则化的超分辨率图像重构方法[J];计算机工程;2007年22期
6 江鹏;彭黎辉;萧德云;;采用二阶导数阵作为正则化的电容成像图像重建算法[J];化工学报;2008年02期
7 胡学刚;吴勇;刘艳;;一种变步长迭代正则化图像复原的新算法[J];计算机应用研究;2010年04期
8 吴泽彬;韦志辉;孙乐;刘建军;;基于迭代加权L1正则化的高光谱混合像元分解[J];南京理工大学学报;2011年04期
9 钱祖平,洪伟;直接反演非均匀介质柱的一种新方法[J];微波学报;1999年04期
10 刘超,刁现芬,汪元美;超声逆散射成像问题中的正则化方法研究[J];浙江大学学报(工学版);2005年02期
中国重要会议论文全文数据库 前10条
1 杨元喜;徐天河;;综合验前模型信息和验后观测信息的自适应正则化方法[A];《大地测量与地球动力学进展》论文集[C];2004年
2 孙娅;柳建新;童孝忠;;正则化方法在地球物理不适定反演中研究现状[A];中国地球物理·2009[C];2009年
3 方涵先;黄思训;韩月琪;;改进的变分伴随理论在探空仪测风中的应用研究[A];第二十届全国水动力学研讨会文集[C];2007年
4 姜欣荣;陈文;王福章;;基于正则化方法的边界节点法[A];中国力学学会学术大会'2009论文摘要集[C];2009年
5 韩旭;刘杰;姜潮;;不确定性结构的动态载荷识别[A];中国力学学会学术大会'2009论文摘要集[C];2009年
6 苗晴;唐斌兵;周海银;;基于约束最小二乘的空域迭代图像复原[A];第三届全国信息获取与处理学术会议论文集[C];2005年
7 李冬梅;瞿英;;基于正则神经网络算法的混沌系统的辨识研究[A];2005中国控制与决策学术年会论文集(上)[C];2005年
8 苏利敏;王耀威;王彦飞;;基于SAR特征的正则化计算方法及其在纹理分类中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
9 段希涛;刘超;江成顺;;一种基于Hilbert-Huang变换的正则化图像恢复算法[A];2004中国控制与决策学术年会论文集[C];2004年
10 崔岩;王彦飞;杨长春;;波阻抗反演计算的正则化重开始共轭梯度法研究[A];中国地球物理学会第二十四届年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 王林军;正则化方法及其在动态载荷识别中的应用[D];湖南大学;2011年
2 吴磊;(?)_p正则化问题的算法研究[D];湖南大学;2013年
3 方晟;基于正则化的高倍加速并行磁共振成像技术[D];清华大学;2010年
4 邓志亮;两类不适定问题的正则化方法研究[D];兰州大学;2010年
5 郑光辉;分数阶偏微分方程几类反问题的正则化方法[D];兰州大学;2012年
6 尤琼;基于小波有限元与一阶Tikhonov正则化的移动车载识别研究[D];南京航空航天大学;2012年
7 蒋代军;偏微分方程中参数识别问题的理论分析和数值方法[D];武汉大学;2012年
8 卢艺烽;基于分数幂扰动的不适定问题的正则化方法[D];华中科技大学;2013年
9 焦雨领;稀疏约束下反问题理论与算法的研究[D];武汉大学;2014年
10 邱春雨;几类反问题的正则化方法研究[D];兰州大学;2011年
中国硕士学位论文全文数据库 前10条
1 毛海舟;求解第一类Fredholm积分方程的正则化方法及应用[D];上海交通大学;2010年
2 张卫华;具Robin边值的反向热传导问题的几种正则化方法[D];兰州大学;2010年
3 李中锋;两个数学物理反问题的Landweber迭代正则化方法[D];兰州大学;2010年
4 刘媛媛;动力系统方法在反问题数值求解中的应用[D];吉林大学;2009年
5 高源;正则化最小二乘结合偏微分方程的图像复原技术研究[D];哈尔滨理工大学;2010年
6 李文琪;矩形区域上具有非齐次Neumann数据的Laplace方程Cauchy问题的正则化方法研究[D];兰州大学;2011年
7 王远磊;基于正则化与粒子群算法的PCS纳米颗粒测量反演算法研究[D];山东理工大学;2010年
8 程华;一种基于正则化偏微分方程的图像恢复算法[D];福州大学;2005年
9 王冠;二维散射问题的积分方程方法及其数值实现[D];吉林大学;2010年
10 王媛媛;Laplace方程Cauchy问题的一种正则化方法[D];兰州大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026