Bayes网络模型及其学习算法研究

【摘要】： Bayes网络模型利用随机变量之间的条件独立关系，减少了表示一组随机变量的联合概率分布时所需要的参数，并且借助于图的直观表示和变换，我们能够得到在模型中进行概率推理的有效算法。本文就Bayes网络模型进行了一些研究，主要工作概括如下： 1．由于在一般结构的Bayes网络模型中进行概率推理计算是一个NP问题，因此近似计算是十分必要的。基于模型简化的思想，本文研究了对弧进行删除的Bayes网络最优近似问题。首先解决了在Bayes网络中删除一条弧之后的最优近似网络中的参数赋值问题，并研究了最优近似网络中某些结点子集的边缘分布在近似以后所具有的不变性，给出了边缘分布保持不变的最大结点子集。然后给出了删除网络中的多条弧之后的最优近似网络，以及删除误差的计算方法，并给出了在给定误差限下，选择网络中的一组弧进行删除的方案和算法。 2．给出了Bayes网络学习的Markov链Monte Carlo(MCMC)方法。当使用Bayes方法学习Bayes网络模型的结构和参数时，使用MCMC方法对后验分布进行抽样研究是非常方便的，它不需要此概率分布是归一化的，而计算归一化常数往往是困难的。MCMC方法的另一特性是其能够搜索到更大范围(相对于贪婪算法)的模型空间，并且其抽样序列有着向网络模型空间中具有较大后验概率的模型靠近的趋势，因此本文中将MCMC方法作为一种随机搜索算法进行使用，寻找具有较大后验概率的网络模型。应用实例表明了此方法具有较好的性能。 3．研究了两种特殊结构的Bayes网络模型，混合因子分析模型和独立分量分析模型。给出了一种用于混合因子分析模型参数学习的两阶段学习算法，即首先使用混合高斯模型学习数据的概率分布，然后对每一个高斯混合项进行因子分析。这种两阶段的学习算法减小了参数之间的相互耦合，提高了学习速度，同时也具有更强的灵活性，例如在使用混合高斯模型完成数据概率分布的学习之后，可以为每一个高斯混合项重新抽取新的数据样本或者对原数据样本进行划分，这两种方法都能够减少因子分析阶段的运算量。 4．提出了一种新的基于混合高斯模型的独立分量分析方法。通过使用混合高斯模型学习数据样本的概率分布，首先给出了一种实现参数在线学习的 n.摘要 理曰县目目县粤巴曰口巴巴巴巴巴巴 随机梯度算法，然后给出了一种能够对独立分量进行逐一分离的最小嫡算法 以及一种新的衡量非高斯性的联合嫡函数，利用最大非高斯性我们又得到了 一种最小联合嫡算法。同时证明了对观察数据概率分布混合高斯模型中的协 方差矩阵的联合对角化也将完成独立分量分析，从而得到了一种联合对角化 算法。进一步地，我们发现一般的实对称正定矩阵的联合对角化问题能够转 化成为一个独立分量分析问题来解决，并给出了一种新的矩阵联合对角化算 法。