收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

贝叶斯学习的先验分布的研究

胡振宇  
【摘要】: 贝叶斯方法起源于著名的贝叶斯公式(又称为贝叶斯定理)。其后,发展成为一种 系统的统计推断和决策的方法.90年代进一步研究可学习的贝叶斯网络,用于机器 学习.由于概率统计与数据采掘的天然联系。数学采据兴起后贝叶斯网络日益受到 重视,再次成为引人注目的热点.与非贝叶扬方法相比,贝叶斯方法的特出特点是 其学习机制可以综合先验信息和后验信息,既可避免只使用先验信息可能带来的主 观偏见,和缺乏样本信息时的大量盲目搜索与计算,也可避免只使用样本信息带来 的噪音的影响.只要合理地确定先验,就可以进行有效的学习。因此,适用于具有 概率统计特征的数据采掘和机器学习(或发现)问题,尤其是样本难得的问题.贝 叶斯方法遇到的一个重大的问题是先验分布的确定依据的只是一些准则,没有可操 作的完整的理论.在许多情况下先验分布的合理性和准确性难以评价.本文主要对 先验分布的迭取进行研究. 1.本论文讨论贝叶斯学习中的一个基本问题—相容性问题.本文主要讨论相 容性的定义和性质,证明了在相客性前提下贝叶斯学习的先验无关性:通过一些反 例说明不相容性的贝叶斯学习是存在的:指出贝叶斯学习及其先验分布的选取的前 提—相容性原则.也给出了一个相容性的相对简化的充分条件。并证明了在此条 件下贝叶斯学习的渐近正态性。主要有以下结论: 定义 1.l如果对于θ_0的任意一个邻域V,几乎必然有 limμ_n(V)=l,即任给 η0巾和任意θ_0的一个邻域 V存在 n≥n_o使得几乎必然 则称在处是相容的· 引理1.1设θ_0是Θ的一个点,π_1。、π_2是两个在θ_0正值连续先验分布,如果 在相容, 则几乎必然 定理1.l如果μ_n和v_n均为θ的后验分布.且是相容的,则对于任意的有界连续 ! 函数/,有卜(川+]松\)。 n—— 假设孔。回,称以下条件为正则条件: (CI)先验密度。(8)在民大于 0且连续。 —刀。。—u丛一h一、。一巳。口讹,。刀.aIOg f(X旧)、十o C)logf(卜)在90的邻域关于6H次可微且微分E(…)在O 、一,·-。J、一I-·一’U—””””””””—-’”-—”Dg“ 内连续。 (Q)对任何S>o及 从(S=0 一孔卜 占 口O存在正数牡了(与占相 关)使得 tim P[suP n-’K(9)一人(民)}<一k(8)】 1 。、。e。日-川(占) 即4 是弱相容性的,亦即 尸* 4=00 hWOO 定理2.!若上述条件(O)到(Q 成立,且 一o<b<口<o,则 9_+ba_<0<0_+arr。的后验概率,即 Q儿一叮厂,;(引入皆…雪XJdo 以概率 1趋近于 (2)‘ie‘du,n -+。。 2.将贝叶斯先验选取的一些准则(如共轭分布、不变性原则、最大嫡原则等) 看成是一些启发式规则,将贝叶斯启发式方法引入先验分布的选取中,以优化的观 点将先验信息与样本信息结合起来,对先验分布的选取进行研究。并引入损失函数 和风险函数分别从贝叶斯决策理论与贝叶斯判别分析的角度,对先验分布和合理性 与准确性进行评价。推广了现有的MLll方法。证明了在一定的条件下最大后验信 念(HPB)先验和二型极大似然(MLll)先验是最合适先验(MSP)。主要有如下 一些结论: 定义3*:记 ac=stir(XW门,O)m(9)dg, a;=。;DP(尸川卜,a尸”)4o 互互 比值 a。a;称为 N(0)对 A(0)后验信念比,。。/。;称为先验信念比。由 (3.2), ac h]P(X’”’IN,8)N(8呷 2=——(.3) a ql尸(XU门八,0)八(8)do 假设仅有两个可以考虑的先验八汐)和八(的,如果要选用11;(的而不是从(的就必 须有闪<;叫,或 一 0 <—— N 定义3.3因子 _DOS柏FlOP 060灯ffiflo *。/al *nDI DPIO厂 *幻l叨 厂口rl口 厂。/兀a,风 称为先验贝叶斯因子。先验信念比和后验信念比这两种比率相除,可能会减弱先验 信念的影响,突出数据的影响。 定理3.二如果对于各个先验分布的先验信念都相等,则仅得先验似然达到最人 值的八用即为最大后验信念先验。 定义 4.lp用称为最合适先验(MSP--Most Suitable Prior MSP卜如果使 凡(尸,旬x》达到最小值。 定理4.1如果采用“0.1”损失函数,即 !0,600=A L(A,5k)卜《.二”:’(4,3)


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 胡振宇,林士敏,陆玉昌;相容的贝叶斯学习及其后验分布的渐近正态性[J];广西师范大学学报(自然科学版);2004年01期
2 陈霞;崔恒建;杨华;;Bootstrap方法在遥感线性BRDF模型反演中的应用[J];遥感学报;2007年06期
3 熊春明;;Pearson x~2检验在计算机自适应化测验中的应用研究[J];计算机与现代化;2008年01期
4 任开军,吴孟达,刘琦;先验分布融合的KULLBACK信息方法[J];装备指挥技术学院学报;2002年04期
5 李晶晶;;论贝叶斯学习机的学习过程[J];甘肃联合大学学报(自然科学版);2009年04期
6 黄斌;布匹检验中无疵点数据处理[J];湖北工学院学报;1995年01期
7 汪荣贵,张佑生,彭青松;分组样本下Bayes网络条件概率的学习算法[J];小型微型计算机系统;2002年06期
8 吴晶;曾骁;陈真勇;熊璋;;基于潜在兴趣语义描述的门户个性化兴趣建模[J];北京航空航天大学学报;2008年02期
9 岳振军,曹祖庆,陈浩球;非线性系统参数估计的迭代Bayes方法[J];东南大学学报;1995年05期
10 樊鹤红;刘盼;赵兴群;孙小菡;;小样本条件下行波管可靠性评估方法的研究[J];电子学报;2010年06期
11 张志华,屈斐;软件可靠性模型的Bayes推断及Gibbs算法[J];高校应用数学学报A辑(中文版);2005年04期
12 谢琳;李凡长;;一种新的动态模糊参数学习算法研究[J];微电子学与计算机;2008年09期
13 高庆华;金明录;王洁;王洪玉;;一种基于概率密度传播的目标跟踪算法[J];电子与信息学报;2010年10期
14 言茂松;王丰尧;杨德邻;;发电单元可靠性的贝叶斯加权递推估计[J];控制与决策;1988年03期
15 张泊平;程菊明;;基于贝叶斯理论的软件可靠性评估方法研究[J];电子质量;2007年12期
16 史建清;社会经济系统数学模型中多个转变点的Bayes推断[J];信息与控制;1993年03期
17 林士敏,王双成,陆玉昌;Bayesian方法的计算学习机制和问题求解[J];清华大学学报(自然科学版);2000年09期
18 汪荣贵,张佑生,王浩,胡学钢;分组样本下先验BN模型及条件概率的学习算法[J];微电子学与计算机;2002年05期
19 何国伟;评估电子产品平均寿命的一种变动统计方法[J];电子学报;1981年03期
20 祁建军,李增智,魏玲;开放分布系统安全中的Bayes信任模型[J];微电子学与计算机;2005年10期
中国重要会议论文全文数据库 前10条
1 崔嵬;;BMOM方法及其在证券市场中的应用[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策(上册)[C];2002年
2 谢琳;李凡长;;一种新的动态模糊参数学习算法研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
3 苗敬毅;;顾客满意度的Bayes估计[A];2005—2006山西省统计科研成果汇编[C];2006年
4 郭怀志;;客观构成基本变量先验分布的商讨[A];工程结构可靠性——中国土木工程学会桥梁及结构工程学会结构可靠度委员会全国第三届学术交流会议论文集[C];1992年
5 明志茂;张云安;陶俊勇;易晓山;陈循;;基于新的Dirichlet先验分布的Weibull寿命型产品可靠性增长Bayesian分析[A];2009年全国机械可靠性技术学术交流会暨第四届可靠性工程分会成立大会论文集[C];2009年
6 马静娴;闫国奎;刘志军;;用贝叶斯方法处理核电站PSA分析中的设备可靠性数据[A];2004年全国机械可靠性学术交流会论文集[C];2004年
7 费斌军;陈勃;;疲劳强度参数概率分布的贝叶斯方法[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(下册)[C];2001年
8 程真英;李瑞君;陈晓怀;杨圣春;;基于正态倒伽玛共轭先验的测量不确定度评定[A];第七届全国信息获取与处理学术会议论文集[C];2009年
9 陈晓怀;程真英;刘春山;;动态测量误差的贝叶斯建模预报[A];第二届全国信息获取与处理学术会议论文集[C];2004年
10 张云安;明志茂;陶俊勇;易晓山;陈循;;指数产品Bayes验证试验方案的选择与分析[A];2009年全国机械可靠性技术学术交流会暨第四届可靠性工程分会成立大会论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 朱慧明;现代经济管理中的线性贝叶斯推断理论与多总体贝叶斯分类识别方法研究[D];南京理工大学;2003年
2 李秀敏;极值统计模型族的参数估计及其应用研究[D];天津大学;2007年
3 王海伟;非契约型客户资产风险形成及度量研究[D];哈尔滨工业大学;2007年
4 张新福;我国商业银行操作风险管理研究[D];天津大学;2007年
5 刘琦;液体火箭发动机可靠性增长试验评定方法研究[D];国防科学技术大学;2003年
6 陈建江;AVO三参数反演方法研究[D];中国石油大学;2007年
7 孔丽娜;ARCH模型族的贝叶斯分析及其在经济中的应用[D];暨南大学;2009年
8 胡素华;连续时间资产收益模型的贝叶斯分析[D];天津大学;2006年
9 吴海英;生产过程评价指标的统计分析[D];郑州大学;2005年
10 郭秀娥;医学研究中的Bayes统计分析[D];第四军医大学;2000年
中国硕士学位论文全文数据库 前10条
1 胡振宇;贝叶斯学习的先验分布的研究[D];广西师范大学;2001年
2 李勇;先验分布的选择理论研究[D];西南交通大学;2006年
3 陈茜;动态贝叶斯模型的研究[D];中南大学;2007年
4 董晓燕;非参数先验分布的确定及其应用[D];西南交通大学;2008年
5 熊欧;MA(q)模型的贝叶斯分析[D];西南交通大学;2007年
6 张勇;贝叶斯方法在统计指数编制中的应用[D];华中师范大学;2007年
7 桑红芳;几类分布的参数估计的损失函数和风险函数的Bayes推断[D];中南大学;2006年
8 杨珂玲;ε-代换类先验分布族的贝叶斯稳健性分析[D];华中师范大学;2007年
9 赵琳;刀切贝叶斯估计方法[D];吉林大学;2008年
10 刘雅琴;ε-代换类先验分布族中分布集的选择[D];华中师范大学;2008年
中国重要报纸全文数据库 前2条
1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年
2 ;日本:快速检测信息系统故障新技术[N];人民公安报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978