收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

主分量和次分量神经网络学习算法及应用

欧阳缮  
【摘要】: 主分量的方向是代表输入数据矢量具有最大方差的方向,用主分量来表示数据 矢量称之为主分量分析(PCA),而次分量的方向是输入数据矢量具有最小方差的方 向。主分量分析和次分量分析(MCA)(PCA的互补部分)都是分析一个随机矢量 过程相关结构的十分有用的统计技术,并已经广泛地应用于现代信号处理的许多领 域,诸如高分辨谱估计、系统辨识、数据压缩、特征提取、模式识别、数字通信、计 算机视觉等等。本论文主要研究了PCA和MCA的神经网络模型及有关快速学习算 法,重点是并行多个分量提取问题,主要结果概括如下: 1.根据最小二乘原理,我们提出一种PCA学习算法,我们称之为稳健的递归最小 二乘算法(RRLSA)。与以往的所有的线性PCA算法不同,该算法并不引入后向 传播误差来更新神经网络的连接权,而更象Hebb规则,仅仅用了相应神经元的 输入-输出之积,另外,RRLSA还引入了一个泄漏因子,因此,RRLSA也称为 泄漏Hebb规则。通过最优学习率的选择,我们建立了最小二乘准则与著名的Oja 规则间的联系。我们引入非归一化权矢量并证明了PCA所需的全部信息完全可 由该非归一化权矢量来表征,因此,非归一化权矢量比其归一化形式包含了更多 的信息。实验结果表明,RRLSA不仅克服了梯度类型Hebb规则收敛慢、失调大 的缺陷,而且对串行PCA算法中的误差累积效应也更具稳健性。 2.通过引入一个加权矩阵,我们提出一个广义能量函数(GEF)来训练一种线性对 称神经网络。根据GEF,我们能够推导几种著名的PCA学习算法,如最小均方 误差重构(LMSER)和投影近似子空间跟踪(PAST),然而,更重要的是,我 们获得了一种RLS类型学习算法,它能够利用对称网络实现多个主分量的并行 提取。根据GEF,我们对加权矩阵是如何打破对称子空间规则而实现PCA的作 用给出了较清晰的解释。模拟结果表明,与著名的侧权连接学习算法相比,我们 提出的并行算法收敛快并提高了对输入过程特征分布的稳健性。 3.我们提出一个加权信息准则(WINC)来搜索一个线性神经网络的最优权,理论分 析表明平衡点的最优解渐近收敛于输入过程的主分量。通过对平衡点稳定性分 析,我们建立了加权矩阵与输入统计特性间的关系,从而对加权矩阵的取值范围 给出了一个理论界限。基于WINC,我们提出两种能并行实现多个主分量提取的 学习算法,其中的RLS算法有低的运算复杂度O(Np)(N为输入矢量维数,p为 要提取的主分量个数),结果表明它对应一个三层线性神经网络模型,这个网络 有一种新颖的结构:其隐层具有较少的节点且节点间由固定权(加权矩阵)进行 简单的一对一连接,而且几种著名的主分量/主子空间分析(PSA)算法仅仅是 n 摘 要 WINC算法在不同参数设置下的特例。模拟结果表明,WINC算法充分地改善了 并行主分量学习算法的数值性能。由于加权矩阵并不要求糟确设计,十分便于实 际实现,因此,该网络模型对实际应用更有意义。 4.我们提出一个信息最小化准则并证明在次分量子空间该准则有唯一的全局最小, 基于梯度上升规则,我们提出一种自适应次分量提取(AMEX)算法,该算法能 实现多个次分量的并行提取而不需象以往的MCA X法那样耍采用dation过程。 AMEX算法具有一种可伸缩的灵活结构(类似于自适应格型滤波器的结构),即 增加或减少期望的次分量数目不会影响其前面次分量的提取。AMEX算法具有高 度的模块化结构,十分适合于VLSI实现。理论分析结果表明,AMEX X法能够 指数地收敛到期望的解,并给出了其指数收敛串。实验结果证实了理论分析的正 确性。 5.我们提出一个能实现PCA和MCA的统一框架,证明了其全局稳定的最大点,权 矢量是输入过程的前尸个主分量,而其全局稳定的最小点,权矢量则是输入过程 的。个次分量。应用适当的梯度规则,我们推导了统一的PCA和MCA学习算 法:仅仅改变相应的符号,该算法即可分别用于多个主分量和次分量的并行提取。 通过Lyapunov函数方法分析了算法的渐近稳定性能,模拟结果验证了算法的有 效性。 6.我们提供了几个应用(图像数据压缩、波达方向估计、杂波抑制)例子表明所提 出的算法的可应用性,重点研究了PCA算法在机载预警霓达杂波抑制中的应用. 基于广义旁瓣相消结构(GSC),我们研究一种特征子空间近似(ESA)空时自 适应处理(STAP)杂波抑制方法。与互谱降维STAP相比,ESA主要涉及杂波 相关矩阵的前尸个主特征值和特征矢量,运算量低并仁于用P CACAX法快速实现。 通过对多种性能指标的实验仿真,证实了该方法对杂波抑制的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王艳茹,郝志华;主分量神经网络在高校学生综合素质评价中的应用[J];唐山学院学报;2003年01期
2 郭娟;戚文芽;岳峰;;广义主分量分析及其在人脸识别中的应用[J];电子技术应用;2006年07期
3 徐春明;姜海波;于建江;;一种新的加权主分量分析方法[J];佳木斯大学学报(自然科学版);2007年06期
4 于建江;王琪;徐春明;;基于特征选择的二维主分量分析[J];计算机应用与软件;2008年02期
5 卿湘运;王行愚;;概率二维主分量分析[J];自动化学报;2008年03期
6 郭兴旺;其达拉图;;铝试件脉冲红外热无损检测的主分量分析[J];北京航空航天大学学报;2009年11期
7 贾莹;段玉波;;基于主分量特征与独立分量特征的人脸识别[J];佳木斯大学学报(自然科学版);2010年02期
8 刘学胜;;基于核主分量分析的人脸识别[J];机电技术;2011年03期
9 刘爽,李祚泳,李国平;气温和降水的均生外延主分量预测模型[J];成都气象学院学报;1993年03期
10 高秀梅,杨静宇,袁小华,杨健;广义主分量分析及人脸识别[J];计算机工程与应用;2003年11期
11 李崇贵;赵宪文;;主分量分析在监测区域样地分布及异常样地探测中的研究[J];遥感技术与应用;2006年01期
12 周遊;;基于主分量分析的神经网络企业财务困境分析[J];商场现代化;2009年21期
13 沈谦,李树涛,伍君;基于主分量分析和支持向量机的人脸检测[J];计算机与数字工程;2005年04期
14 张晓煜;普杰信;;基于主分量分析与支持向量机的人脸检测研究[J];微计算机信息;2006年14期
15 崔江涛;郭勇;李广鑫;;采用动态主分量距离测度的视频索引技术[J];西安电子科技大学学报;2009年06期
16 刘明骞;李兵兵;吴启军;;基于矩形积分双谱和核主分量分析的电台指纹识别[J];西北大学学报(自然科学版);2011年01期
17 周佩玲,杨春霞,周涛,李立文;虚拟股市建模与混沌分析[J];中国科学技术大学学报;2004年04期
18 孔令荣;;主分量分析在数字图像压缩中的应用[J];大众科技;2009年10期
19 郭冬冬;夏筱筠;;基于主分量分析的缺陷识别研究[J];计算机工程与设计;2012年05期
20 董火明,高隽,胡良梅,董文雯;基于主分量分析的形状特征提取及识别研究[J];合肥工业大学学报(自然科学版);2003年02期
中国重要会议论文全文数据库 前10条
1 徐春明;姜海波;于建江;;鲁棒二维主分量分析方法[A];第二十七届中国控制会议论文集[C];2008年
2 冀贞海;李锋;宁勇;朱伟强;;基于模块二维主分量分析的脉内调制识别算法研究[A];江苏省电子学会2010年学术年会论文集[C];2010年
3 龙飞;林坤辉;林凡;;基于联合二维主分量分析的图象描述方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 何清波;刘永斌;张平;孔凡让;;主分量子空间识别设备状态的研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 刘艳群;陈创买;郑勇;;珠江流域年降水的时空分布特征[A];中国气象学会2007年年会气候学分会场论文集[C];2007年
6 谢颜斌;唐炬;周倩;高丽;;基于最优小波包变换与核主分量分析的局放信号特征提取[A];08全国电工测试技术学术交流会论文集[C];2008年
7 刘艳群;赵佩红;;广东省春季降水的空间分布特征[A];第26届中国气象学会年会气候变化分会场论文集[C];2009年
8 刘艳群;陈创买;郑勇;唐宇;;珠江流域年降水的预测[A];中国气象学会2007年年会天气预报预警和影响评估技术分会场论文集[C];2007年
9 何柯峰;高隽;胡良梅;陆璐;;一种基于主分量分析的融合识别方法[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
10 钱贺;柳亦兵;严可国;;主分量分析在火电厂送粉风机轴承故障诊断中的应用[A];中国动力工程学会第三届青年学术年会论文集[C];2005年
中国博士学位论文全文数据库 前2条
1 欧阳缮;主分量和次分量神经网络学习算法及应用[D];西安电子科技大学;2000年
2 杨燕;基于主分量和独立分量分析的结构信号处理和损伤识别研究[D];武汉理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 张国伟;自适应的鲁棒核主分量分析算法[D];华中科技大学;2007年
2 杨省齐;自适应主分量提取算法在基因表达数据中的应用[D];西安电子科技大学;2008年
3 段胜利;基于主分量分析的单样本人脸识别方法研究[D];哈尔滨工程大学;2008年
4 谭可人;自适应加权子模式主分量分析及人脸识别应用[D];南京航空航天大学;2005年
5 王毅娜;基于非高斯估计的Kernel PCA核优化方法及应用[D];西安电子科技大学;2006年
6 钱贺;主分量法在机械设备故障诊断方法中的应用[D];华北电力大学(北京);2006年
7 张国浩;基于主分量分析柴油机噪声源识别及降噪研究[D];中南大学;2012年
8 张丽丹;基于监督独立分量分析的人脸识别[D];哈尔滨工程大学;2005年
9 郭恺;人脸识别中基于核的方法的研究[D];山东大学;2006年
10 郑庆志;统计分析方法在航空伽玛能谱数据处理中的应用研究[D];成都理工大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978