收藏本站
《燕山大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

KNN文本分类研究

闫晨  
【摘要】: 文本分类最初是应文本信息检索的要求出现的。文本分类可以使得人们无需逐个浏览文本文件来确认是否是自己所需文本,自动的将文本划分到人们事先指定好的类别域中的正确类别,同时在分类过程中得到的分类模式及其它数据亦可应用于进一步的文本挖掘、智能搜索引擎、个性化软件助理等领域。 本文分析了各种算法的分类思想、文本预处理、特征选择和特征提取方法,并且对K最近邻文本分类问题进行了深入的研究。 首先,深入研究了传统的TFIDF加权方案,分析出其存在的缺陷。在此基础上分别提出了对词频函数和逆文档频数函数的改进策略,使其更适合K最近邻文本分类。 其次,为了解决K最近邻文本分类的边界问题,定义了文本分类中类密度和类倾斜的概念。通过标准差判别类密度是否出现倾斜,并且引入收缩因子收缩发生倾斜的类密度,直到类密度不再发生倾斜。之后,根据收缩后的类密度对传统的K最近邻决策函数进行修改,形成了自适应的加权K最近邻文本分类。 最后,针对K最近邻方法存在分类速度问题,提出了一种基于密度的K最近邻分类器训练样本裁剪方法,对类的中心区域样本进行了大量裁剪。这种方法降低了K最近邻算法的计算量,从而大大提高了分类器在分类阶段的分类速度。 实验结果表明,本文所提出的观点均优于传统观点,并且提高了K最近邻分类器的准确率、查全率和分类速度。
【学位授予单位】:燕山大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.1

【引证文献】
中国期刊全文数据库 前1条
1 刘文;吴陈;;一种新的中文文本分类算法——One Class SVM-KNN算法[J];计算机技术与发展;2012年05期
中国硕士学位论文全文数据库 前8条
1 张春燕;基于自然语言处理的文本分类分析与研究[D];江西理工大学;2011年
2 张光辉;油气储层测井裂缝识别方法研究及软件研制[D];成都理工大学;2011年
3 王卓;面向文本分类的改进K近邻的支持向量机算法研究[D];辽宁工程技术大学;2011年
4 刘文;基于聚类算法和支持向量机算法的文本分类算法研究[D];江苏科技大学;2012年
5 王飞;文本分类相关算法的研究与实现[D];哈尔滨工程大学;2012年
6 范君君;中文文本自动分类研究与应用[D];湖北大学;2012年
7 唐凯;天然气储层气水识别方法研究及其应用[D];成都理工大学;2013年
8 陈江丽;基于最短距离聚类的K最近邻分类的研究及应用[D];云南大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 吴雅娟,柳培林 ,丁子睿;基于统计分词的中文文本分类系统[J];电脑知识与技术;2005年11期
2 胡佳妮,徐蔚然,郭军,邓伟洪;中文文本分类中的特征选择算法研究[J];光通信研究;2005年03期
3 张运良;张全;;柔性KNN算法研究[J];计算机工程与应用;2007年34期
4 张宁,贾自艳,史忠植;使用KNN算法的文本分类[J];计算机工程;2005年08期
5 张玉芳;彭时名;吕佳;;基于文本分类TFIDF方法的改进与应用[J];计算机工程;2006年19期
6 高茂庭;王正欧;;基于文档标引图模型的文本相似度策略[J];计算机工程;2008年07期
7 袁军鹏;朱东华;李毅;李连宏;黄进;;文本挖掘技术研究进展[J];计算机应用研究;2006年02期
8 石正喜;张捍东;赵黎明;陈玉燕;;一种改进的MM中文分词算法[J];计算机与网络;2009年02期
9 鲁松,李晓黎,白硕,王实;文档中词语权重计算方法的改进[J];中文信息学报;2000年06期
10 周昭涛,卜东波,程学旗;文本的图表示初探[J];中文信息学报;2005年02期
【共引文献】
中国期刊全文数据库 前10条
1 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
2 时雷;席磊;虎晓红;段其国;;基于支持向量机的农业数据分类研究[J];安徽农业科学;2009年05期
3 时雷;虎晓红;席磊;;基于Naive Bayes算法的大豆病害诊断研究[J];安徽农业科学;2009年11期
4 罗长寿;张峻峰;孙素芬;魏清凤;;基于改进VSM的农业实用技术自动问答系统研究[J];安徽农业科学;2009年28期
5 刘晓志;黄厚宽;尚文倩;;带专业词库的特征选择[J];北京交通大学学报;2006年02期
6 焦健;瞿有利;;知网的话题更新与跟踪算法研究[J];北京交通大学学报;2009年05期
7 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
8 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
9 蒋宗礼;徐学可;;一种基于集成学习与类指示器的文本分类方法[J];北京工业大学学报;2010年04期
10 文翰;肖南峰;;基于特征分布的半监督分类[J];北京工业大学学报;2012年01期
中国重要会议论文全文数据库 前10条
1 韩露;余正涛;邓锦辉;章程;毛存礼;郭剑毅;;领域知识关系对领域文本分类的影响[A];第二十七届中国控制会议论文集[C];2008年
2 毛存礼;余正涛;线岩团;郭剑毅;雷雄丽;;基于短信的旅游景点酒店问答系统研究[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 马骥;朱慕华;肖桐;朱靖波;;面向移进-归约句法分析器的单模型系统融合算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 薛征;廖闻剑;;基于位置权重和实体识别的关键词提取[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
5 侯松;周斌;贾焰;;分词结果的再搭配对文本分类效果的增强[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
6 ;Feature Selection for Text Classification using OR+SVM-RFE[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
7 朱艳辉;王平;周咏梅;;一种基于Agent的中文Web信息自动检索系统(英文)[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
8 卢卫雄;;一种基于支持向量机的多国语言文本分类平台[A];第十六届全国青年通信学术会议论文集(上)[C];2011年
9 ;Comparison of Text Categorization Algorithms[A];Proceedings of the First Conference on Web Information System and Applications[C];2004年
10 梁飞;吕洪波;姚锦峰;;舆情分析中语料库降维[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
中国博士学位论文全文数据库 前10条
1 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年
2 徐悦竹;机会发现算法及其应用研究[D];哈尔滨工程大学;2010年
3 魏建香;学科交叉知识发现及其可视化研究[D];南京大学;2010年
4 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
5 李炳龙;文档碎片取证关键技术研究[D];解放军信息工程大学;2007年
6 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
7 张晓艳;新闻话题表示模型和关联追踪技术研究[D];国防科学技术大学;2010年
8 侯锋;中文报业出版的文字质量智能辅助控制技术研究[D];国防科学技术大学;2010年
9 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年
10 王中锋;树型贝叶斯网络分类器鉴别式训练研究[D];北京交通大学;2011年
中国硕士学位论文全文数据库 前10条
1 王丽敬;地理案例的空间相似性计算[D];山东科技大学;2010年
2 岳海鸥;基于Ajax和Soap Service的应用框架及实现方法研究[D];山东科技大学;2010年
3 罗义兵;领域文本相似度计算方法研究[D];山东科技大学;2010年
4 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
5 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
6 左维松;规则和统计相结合的篇章情感倾向性分析研究[D];郑州大学;2010年
7 刘国峰;数据模板匹配研究及在社保审计中的应用[D];哈尔滨工程大学;2010年
8 李晓光;数据挖掘技术在高校招生和教务管理中的应用[D];哈尔滨工程大学;2010年
9 陈晶;基于词片网格的语音文档主题分类[D];哈尔滨工程大学;2010年
10 桑媛媛;基于非负稀疏表示的文本分类算法研究[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 周宏宇;张政;;中文分词技术综述[J];安阳师范学院学报;2010年02期
2 宋昊苏;李宁;张伟;;VSM模型在文档结构识别中的应用[J];北京信息科技大学学报(自然科学版);2011年06期
3 高军,陈锡先;无监督的动态分词方法[J];北京邮电大学学报;1997年04期
4 何建军,贺振华,黄德济;致密砂岩储层裂缝发育带的检测和识别[J];成都理工大学学报(自然科学版);2004年06期
5 胡永章,王洪辉,段新国,陈克勇;多组逐步判别分析在鄂尔多斯某区块识别气、水层[J];成都理工大学学报(自然科学版);2005年02期
6 赵耀红;;基于向量空间模型的信息检索系统的研究与实现[J];长春大学学报;2009年08期
7 王广财;楼一珊;李忠慧;朱亮;;碳酸盐岩裂缝预测方法研究[J];长江大学学报(自然科学版)理工卷;2008年03期
8 廖觉生,司马立强,赵治春;模糊聚类分析综合判别气水层方法[J];地球物理测井;1991年02期
9 侯俊胜,黄智辉,汪嘉联;测井多参数模糊综合评判和灰色综合评判的对比分析[J];测井技术;2000年01期
10 陈世加,马力宁,林峰;用储层抽提物的化学性质识别油气水层[J];测井技术;2001年02期
中国博士学位论文全文数据库 前10条
1 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
2 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
3 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
4 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
5 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
6 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院(计算技术研究所);2003年
7 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
8 刘峰;贝叶斯网络结构学习算法研究[D];北京邮电大学;2008年
9 秦玉平;基于支持向量机的文本分类算法研究[D];大连理工大学;2008年
10 郝秀兰;文本分类技术与应用研究[D];复旦大学;2008年
中国硕士学位论文全文数据库 前10条
1 段江丽;基于SVM的文本分类系统中特征选择与权重计算算法的研究[D];太原理工大学;2011年
2 胡改蝶;中文文本分类中特征选择方法的应用与研究[D];太原理工大学;2011年
3 邓彩凤;中文文本分类中互信息特征选择方法研究[D];西南大学;2011年
4 田江飞;高桥地区奥陶系马家沟组马五_(1+2)沉积相及储层特征研究[D];成都理工大学;2011年
5 都云琪;中文文本自动分类的研究与实现[D];西安电子科技大学;2002年
6 郑洪英;数据挖掘聚类算法的分析和应用研究[D];重庆大学;2002年
7 苏伟峰;基于概念的文本自动分类研究[D];厦门大学;2002年
8 汪华;川西孝泉—新场地区须二段致密砂岩储层裂缝的测井识别与评价[D];成都理工大学;2004年
9 崔彩霞;基于支持向量机的文本分类方法研究[D];山西大学;2005年
10 曲晓;受限条件下学生作业文本相似度的研究[D];内蒙古师范大学;2006年
【二级引证文献】
中国期刊全文数据库 前1条
1 丁霄云;刘功申;孟魁;;基于一类SVM的不良信息过滤算法改进[J];计算机科学;2013年S2期
中国硕士学位论文全文数据库 前1条
1 祖丽湖玛尔·马木提江;维吾尔语区分性关键词提取算法研究及其性能分析[D];新疆大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 史磊,王永成;英文文献自动摘要系统的研制与开发[J];高技术通讯;1999年11期
2 马颖华,王永成,苏贵洋,韩客松,赵海;自动标引中基于概念层次树的主题词轮排选择的算法实现[J];高技术通讯;2003年06期
3 王小华,张国煊,陆蓓;文本分类系统的评价因素探讨[J];杭州电子工业学院学报;2002年03期
4 林鸿飞,战学刚,姚天顺;基于概念的文本结构分析方法[J];计算机研究与发展;2000年03期
5 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期
6 陆玉昌,鲁明羽,李凡,周立柱;向量空间法中单词权重函数的分析和构造[J];计算机研究与发展;2002年10期
7 王建会,王洪伟,申展,胡运发;一种实用高效的文本分类算法[J];计算机研究与发展;2005年01期
8 李荣陆,王建会,陈晓云,陶晓鹏,胡运发;使用最大熵模型进行中文文本分类[J];计算机研究与发展;2005年01期
9 尚文倩;黄厚宽;刘玉玲;林永民;瞿有利;董红斌;;文本分类中基于基尼指数的特征选择算法研究[J];计算机研究与发展;2006年10期
10 邹涛,王继成,朱华宇,金翔宇,张福炎;WWW上的信息挖掘技术及实现[J];计算机研究与发展;1999年08期
【相似文献】
中国期刊全文数据库 前10条
1 王煜;白石;王正欧;;用于Web文本分类的快速KNN算法[J];情报学报;2007年01期
2 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期
3 杨丽华;戴齐;郭艳军;;KNN文本分类算法研究[J];微计算机信息;2006年21期
4 刘慧;杨宏光;;应用于中文文本分类的改进KNN算法[J];今日科苑;2010年08期
5 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
6 唐焕玲,付克明,鲁明羽;文本分类系统SECTCS中若干技术问题的探讨[J];计算机工程与应用;2003年11期
7 杜尔斌;李翔;林祥;;改进的KNN文本分类算法[J];信息安全与通信保密;2011年04期
8 李鑫;张黎烁;;文本分类方法比较研究[J];光盘技术;2009年05期
9 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
10 崔彩霞;张朝霞;;文本分类方法对比研究[J];太原师范学院学报(自然科学版);2007年04期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
3 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
4 希安;微软试水信息检索[N];经济日报;2004年
5 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
6 应晓敏 窦文华;技术架构[N];计算机世界;2003年
7 本报记者 姚琳;科学与追求相伴[N];广西日报;2011年
8 何冰 辛专 ;湖南平江仍有私塾[N];北京日报;2003年
9 ;北外举办首届中国爱尔兰研究研讨会[N];中华读书报;2007年
10 本报特约撰稿人 陈丹;“哈勃”为观察宇宙打开一扇新窗口[N];大众科技报;2002年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 廖一星;文本分类及其特征降维研究[D];浙江大学;2012年
3 郑文斌;基于正则化线性统计模型的文本分类研究[D];浙江大学;2012年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
6 李自强;大规模文本分类的若干问题研究[D];电子科技大学;2013年
7 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
8 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 闫晨;KNN文本分类研究[D];燕山大学;2010年
2 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
3 刘亚南;KNN文本分类中基于遗传算法的特征提取技术研究[D];中国石油大学;2011年
4 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
5 刘辉;基于KNN算法的中文Web文本分类技术研究[D];辽宁工程技术大学;2010年
6 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
7 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
8 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
9 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
10 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026