收藏本站
《内蒙古大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

HTML文本自动分类技术的研究与工具的实现

刘冬梅  
【摘要】:随着Internet的迅速发展,网络信息不断膨胀。为了提供高效、准确的信息服务,我们需要对网络中繁杂的信息进行合理的组织与分类。本文的目标就是以HTML文本信息处理为背景,从理论及应用两个层次对文本信息的分类方法进行了较为深入的研究。 本文主要研究内容包括: 1.构建了一个实验用语料库。 2.研究了HTML标记对网页内容的修饰作用,以前人理论为基础设计和实现了基于HTML标记的网页分析和加权策略与算法。 3.分析了HTML文本自动分类的重要技术:文本预处理;特征赋权;特征提取和特征选择的六种评估函数:信息增益,互信息,期望交叉熵,X~2统计,文本证据权,右半信息增益。对用Webdup抓取得的HTML文本集进行了系统测试,分析了各种评估函数对不同分类器的优劣。 4.研究了HTML文本分类算法:朴素贝叶斯、K近邻、支持向量机等几种分类算法,将k近邻方法和支持向量机相结合形成KNN-SVM分类器,更加适用于网页文本自动分类的需要。并对KNN和KNN-SVM两种分类器在复旦大学标准语料库和网页语料库上进行了实验比较分析,得出KNN-SVM是比KNN更好的分类器。 5.作为HTML文本自动分类技术研究的结果,采用VC++设计与实现了支持KNN和KNN-SVM两种分类器的HTML文本自动分类原型系统。
【学位授予单位】:内蒙古大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP391.1

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 陶惠;张妍;郝光权;;基于向量空间的文档聚类算法分析[J];电脑知识与技术;2011年20期
2 李卫东;陆玲;;融合VSM技术的PageRank算法研究与应用[J];计算机与现代化;2011年07期
3 李虎;邹鹏;贾焰;周斌;;一种基于MapReduce的分布式文本数据过滤模型研究[J];信息网络安全;2011年09期
4 申莹;徐东平;庞俊;;基于概念的中文博客情感极性聚类分析[J];计算机系统应用;2011年08期
5 潘正高;侯传宇;谈成访;;基于命名实体的Web新闻文本分类方法[J];合肥工业大学学报(自然科学版);2011年08期
6 孙桂煌;;一种基于n-gram短语的文本聚类方法研究[J];现代计算机(专业版);2011年14期
7 夏火松;刘建;;文本相似度视角下的虚拟社区评论的可信性分析[J];现代情报;2011年09期
8 孟佳娜;林鸿飞;李彦鹏;;基于特征贡献度的特征选择方法在文本分类中应用[J];大连理工大学学报;2011年04期
9 李志明;李善平;杨朝晖;林欣;;基于本体分割的本体映射算法[J];模式识别与人工智能;2011年02期
10 许志凯;徐志明;李栋;李生;;面向互联网新闻的话题检测与追踪[J];智能计算机与应用;2011年03期
中国重要会议论文全文数据库 前10条
1 王桐;刘大昕;田迪;孙伟;张万松;;一种改进的XML向量空间模型及其近似匹配算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 高勇;荀恩东;宋柔;;构造自然语言问答系统平台[A];第二届全国学生计算语言学研讨会论文集[C];2004年
3 喻飞;夏晓燕;吴蓉晖;徐成;;基于向量空间模型的信息安全审计系统[A];第二十六届中国控制会议论文集[C];2007年
4 陈浩;何婷婷;代玲;;基于向量空间模型的无导词义消歧[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 黄萱菁;夏迎炬;吴立德;;基于向量空间模型的文本过滤系统[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
6 苏贵洋;王永成;马颖华;;信息自动获取的结构模型[A];第一届学生计算语言学研讨会论文集[C];2002年
7 原福永;杨治秋;王海霞;;一种基于向量空间模型的文档聚类算法研究[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
8 林游龙;余智华;程学旗;刘悦;;虚点:一种减少特征值鸿沟的方法[A];第六届全国信息检索学术会议论文集[C];2010年
9 廖祝华;刘建勋;易爱平;;基于用户兴趣的Web服务发现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
10 曹晶;孙铁利;杨柳;;基于概念向量空间模型的信息检索方法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
中国重要报纸全文数据库 前2条
1 清华大学计算机系智能技术与系统国家重点实验室 张敏 金奕江;寻“宝”有术[N];计算机世界;2003年
2 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
2 邢军;领域本体构造中数据源选取及构造方法的研究[D];大连理工大学;2008年
3 夏迎炬;文本过滤关键技术研究[D];复旦大学;2003年
4 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
5 马晖男;信息检索中浅层语义模型的研究[D];大连理工大学;2007年
6 徐婕;基于对等网络的资源搜索策略的研究[D];华中科技大学;2007年
7 王修力;基于描述复杂性的信息检索理论与若干模型研究[D];北京语言大学;2006年
8 王菁;P2P系统中资源管理机制的研究[D];中国科学技术大学;2007年
9 高茂庭;文本聚类分析若干问题研究[D];天津大学;2007年
10 王小芳;文本主题域划分与无监督特征提取[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 褚金正;面向特定领域的文本识别和分类[D];湖南大学;2005年
2 张波;个性化Web搜索系统研究[D];燕山大学;2006年
3 郭妍;基于市长公开电话文本为背景的两种自动分类算法的比较[D];东北师范大学;2006年
4 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
5 李洋;企业注册登记文件聚类软件设计与实现[D];大连理工大学;2007年
6 吴新涛;基于向量空间模型的网页信息过滤方法研究[D];大连理工大学;2008年
7 赵博;一种基于关键向量的文本分类模型的研究[D];哈尔滨理工大学;2008年
8 赵文鹏;基于自组织特征映射的海洋文献聚类分析的研究与实现[D];中国海洋大学;2009年
9 赵治军;OAI-PMH中元数据相似度计算的研究与实现[D];太原科技大学;2009年
10 段建勇;现代汉语词性细分类标注研究[D];山西大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026