基于支持向量机的中文文本分类系统研究

【摘要】：在信息技术日新月异的今天,多数人在日常工作学习中都会接触到大量的中文信息,尤其是在互联网上,存在的中文网页更是数以万计。如何利用计算机技术快速有效的获取相关信息已经成为目前中文信息处理领域一个研究热点。中文文本分类是中文信息处理的重要组成部分,对中文信息数字化的实现和推广有重要意义,在文本识别、电子政务、搜索引擎、信息过滤等领域有着广泛和深入的应用。 支持向量机是一种建立在统计学习理论基础之上的模式识别方法,由Boser、Guyon、Vapnik等人在COLT(Computational Learning Theory)-92上首次提出,在文本分类、图像识别、生物信息处理等领域都取得了成功的应用。相比较传统的分类方法,支持向量机在求解小样本、非线性、高维空间等问题上表现出了较好的性能。支持向量机根据结构风险最小化原则,具有全局最优解,同时提高了分类器的泛化能力。利用支持向量机得到的分类器具有很好的推广能力,即使训练样本很少,分类系统也可以达到很高的准确率。 本文首先对中文文本分词进行了介绍,在常用分词算法的基础之上设计了一种双向匹配分词算法,有效的减少了歧义词对正确分词的影响。特征选择是文本分类的重要环节,本文对分类问题中的若干传统特征选择评估算法进行了分析,对其中的互信息和X~2等评估算法提出了改进策略。分类器设计是文本分类系统的核心部分,本文讨论了目前主流的分类器设计方法,重点对支持向量机方法进行了研究,详细阐述了线性可分、线性不可分、非线性等支持向量机方法的原理,比较了采用不同核函数的支持向量机分类器的分类效果。通过对一般分类器训练学习过程的分析,本文探讨了训练集选取对分类效果的影响,提出了动态训练集的文本分类算法,加强了训练集对分类器训练学习过程中所起的作用。 最后,结合文本分类过程和支持向量机方法,设计并实现了一个基于支持向量机的中文文本分类系统。该系统分类效果的评价采用分类问题研究领域普遍采用的查准率、查全率和F测度值等指标。实验结果表明,该系统的这些评判指标总体上的平均值都很高,具有较好的分类效果。