收藏本站
《四川大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

中文Web文档倾向性自动分类研究

胡蓉  
【摘要】: 如何在浩若烟海而又纷繁芜杂的文本中最快捷地获取有效信息始终是信息处理的一大目标,也是一大难题。文本自动分类系统,作为信息处理的重要研究方向,旨在根据文本的内容自动判别文本类别。目前,国际上对于英文文本分类的问题研究已经比较成熟,而中文文本分类问题以中文环境和语义为特色,引入了特殊矛盾和特殊困难,成为特别的研究课题。 其中中文文本倾向性分析研究更是一个崭新的、充满挑战的研究领域。为了维护网络安全的健壮性,因此我们提出了实验型中文Web文档倾向性分类鉴别器项目。鉴于以往的鉴别基于关键词的简单匹配和人工处理,效率低下;为此本项目旨在加强中文Web文档鉴别的实时性和高效性。 在研究的过程中,我们系统考察了中文Web文档自动分类的各个环节以及具体的实现技术:从语料库的建立,中文Web文档的分词,索引的选择,权重的设计方案及分词系统SMCW的建立,到特征选择方法的研究讨论,各种分类方法的研究讨论,最后到中文Web文档倾向性分类系统(SCUSCTC SCU Smart Chinese Text Classifier)的结构提出及用Java语言开发实现该系统,并对最后的分类结果及中间分词结果进行了细致的实验和考察。系统功能特色有:1)分类方法智能准确:基于领域和语言学知识结合的方法,使文本分类的精度较以往机械匹配的方法大大提高;2)文本分类高速及时:精巧的算法设计配以高效的实现技术,使分类处理既保质又保量;3)输出格式标准通用:采用标准 通用的XML作为系统的输出格式,这不仅方便了信息的交换、再加工, 而且有利于实现与不同数据库和应用系统的进一步集成。 最后,本文和本系统的成果表现为:l)研究了现代网络情况下, 对于中文W七b文档倾向性分类的方法和技术,并提供了一个可供研究 并具有一定实用价值的原型系统;2)提供了相关的论文和开发文档, 对于以后的研究有极大的帮助:3)对在网关上利用的中文w七b文档分类 器进行了实践性的研究:4)编制了中文Web文档倾向性分类的性能要求 及相关参数的测试评定;5)实现了实时性的中文w七b文档倾向性分类, 达到了一定的速度要求和精度要求. 在以后的工作中考虑如下问题:1)数据集的标准化;2)分词系统精 度的提高,对歧义处理以及未登录词识别的能力的提高:3)进行合理 的语义分析:4)利用用户反馈信息动态更新训练集;5)定t分析分类器 不同要素对分类系统性能的影响,使用合适的模型来比较和评价分类 系统;6)自然语言理解问题,如“引用”问题;7)对于敏感词汇伪装的 识别问题。 本文组织如下:第一部分为引言,第二部分描述了文本分类解决 的问题并对其性能评估方法和阅值选取原则进行了介绍,第三部分描 述了文本的模型表示及其方法和比较,第四部分介绍了特征提取的方 法,第五部分探讨了不同的文本分类方法:Nalve Bayes、kNN、决策 树以及SVM自动分类系统的关键技术,第六部分是该系统的测试数据 和实验结果,第七部分是结束语.
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王杰!荆门日报;经济新闻中三种带倾向性的问题及防范对策[J];新闻前哨;1999年05期
2 ;论新闻倾向性[J];新闻界;1998年02期
3 何光珽;关于新闻倾向性的通信——答郝慧丽同志[J];新闻界;1999年06期
4 刘锴,李岩;谈新闻的客观性[J];克山师专学报;2004年01期
5 谷德润;也谈新闻的倾向性[J];新闻界;1999年02期
6 赵奇;新闻的真实性、倾向性、客观性[J];宜宾学院学报;2002年03期
7 杨葭荪;部分相干光的方向性和GSM光源(综述)[J];量子电子学报;1990年01期
8 赵永生,刘爱秀,黄真;空间多关节六足步行机器人变向性和灵活性分析[J];机器人;1993年01期
9 文有仁;新闻报道的独立性、超然性、倾向性、客观形式[J];新闻与写作;1995年05期
10 夏鼎铭;谈新闻报道的倾向性[J];传媒观察;1997年12期
11 夏鼎铭;也谈新闻报道的倾向性[J];新闻界;1998年04期
12 张骏德;也谈“客观事实无倾向性”[J];新闻界;1999年03期
13 董天策;新闻的倾向性从何而来──与何光珽先生商榷[J];新闻界;1998年04期
14 梅喜雪;新闻的倾向性与竞争力[J];中国记者;2004年05期
15 高戈;对新闻真实性与倾向性的认识[J];采.写.编;2004年04期
16 陈福集,杨善林;一种基于SOM的中文Web文档层次聚类方法[J];情报学报;2002年02期
17 陆峰;用好倾向性这把“双刃剑”[J];传媒观察;2001年01期
18 安宜生;倾向性和舆论引导[J];新闻记者;1994年11期
19 陈纪宁;扶持表彰与防止倾向性问题[J];中国出版;1997年06期
20 秦玉明;论编辑活动的倾向性[J];编辑学刊;1995年02期
中国重要会议论文全文数据库 前10条
1 曾莉;吴惠勤;黄晓兰;宾仁茂;;编辑辅助审稿的倾向性及必要性研究[A];第4届中国科技期刊青年编辑学术研讨会论文集[C];2004年
2 张目强;;论《SCM协定》中的补贴专向性及我国的立法完善[A];《WTO法与中国论坛》文集——中国法学会世界贸易组织法研究会年会论文集(八)[C];2009年
3 ;世界贸易组织反补贴协议及应对[A];2002中国农药发展年会——农药进出口与管理战略研讨会专题报告集[C];2002年
4 孙好广;俞宏沛;;一种利用前盖板弯曲扩展带宽的纵向换能器仿真计算[A];2004年全国水声学学术会议论文集[C];2004年
5 滕丽;;健康促进学校实施策略[A];中华预防医学会儿少卫生分会第六届全国学术交流会、中国健康教育协会学校分会第三届学术交流会论文集[C];2004年
6 史玉群;尹兆奎;;强化安全控制 解决工務系統關鍵性、傾向性、超前性問題[A];第九届京粤港沪铁道学会学术年会论文集[C];2005年
7 刘锦纷;陈会文;苏肇伉;丁文祥;;Gore-tex管道重建前向性肺循环姑息性治疗法乐四联症合并肺动脉闭锁[A];第八届华东六省一市胸心血管外科学术会议论文汇编[C];2005年
8 薛红卫;;植物激素作用机理研究[A];中国植物生理学会第十次会员代表大会暨全国学术年会论文摘要汇编[C];2009年
9 徐国亮;朱正和;蒋刚;刘波;张莉;;不同厚度的双层碳团簇型微波隐身材料性能研究[A];第五届中国功能材料及其应用学术会议论文集Ⅰ[C];2004年
10 伍业光;;博乐欣诱发躁狂发作一例[A];江苏民政医学2000论文资料汇编[C];2000年
中国重要报纸全文数据库 前10条
1 潘东元;奇妙的中药二向性[N];中国中医药报;2002年
2 王震宇;在成长中走向性健康[N];中国妇女报;2004年
3 耿文婷;“春晚”开创方向性之路[N];江西日报;2005年
4 吴萍 孟庆泉;劳动者权利倾向性保护的实现[N];工人日报;2005年
5 杜胜利 作者单位 天津总队六支队;士官中倾向性问题及对策[N];人民武警;2005年
6 本报记者 贺慧宇;建筑防火:从“处方式”向性能化迈进[N];中国建设报;2003年
7 杨沛奇;选准增效路径[N];国际经贸消息报;2002年
8 记者/罗猛;“桂北平话与周边方言”学术研讨在邕举行[N];广西日报;2004年
9 ;将GeForce推向性能之巅[N];电脑报;2002年
10 吴;摄影中的用光[N];安徽经济报;2004年
中国博士学位论文全文数据库 前10条
1 林青春;基于光子晶体与异向介质的新型天线的研究[D];浙江大学;2004年
2 熊绍虎;体外构建具有理想方向性组织工程化大鼠骨骼肌纤维的实验研究[D];中国人民解放军第一军医大学;2003年
3 阎波;受体介导的肝细胞特异性单纯疱疹病毒胸苷激酶基因转移体内外研究[D];中国协和医科大学;1996年
4 张裕东;腺病毒介导的血管内皮生长因子基因靶向性转染心肌细胞的实验研究[D];第二军医大学;2004年
5 李李;油菜素内酯调控生长素极性运输促进双子叶植物向性建成及根分化的机理研究[D];中国科学院研究生院(上海生命科学研究院);2006年
6 毛骁骁;WTO框架下的中国国企补贴法律问题研究[D];复旦大学;2007年
7 尹德永;WTO补贴反补贴实体规则研究[D];中国政法大学;2004年
8 郭建晖;国有资本财务管理研究[D];厦门大学;2001年
9 李晓春;天命之性与气质之性[D];华东师范大学;2001年
10 甘瑛;国际货物贸易中的补贴与反补贴法律问题研究[D];厦门大学;2003年
中国硕士学位论文全文数据库 前10条
1 胡蓉;中文Web文档倾向性自动分类研究[D];四川大学;2003年
2 龙安;论新闻的倾向性[D];中国社会科学院研究生院;2003年
3 汪键;论倾向性证据规则[D];武汉大学;2004年
4 王晋;中国儿童对C原则的习得[D];郑州大学;2004年
5 王睿;男性强制戒毒者心理健康及复吸倾向性的研究[D];华东师范大学;2001年
6 曾晶;GATT和WTO体制下补贴的定义问题研究[D];外交学院;2004年
7 赵宝成;人脐血间质干细胞趋向胃癌种植瘤及其分子机制的实验研究[D];青岛大学;2008年
8 余敏;介词“往”“朝”“向”比较研究[D];华中师范大学;2003年
9 金珠;基于知网的话题跟踪和倾向性跟踪研究[D];大连理工大学;2005年
10 王永杰;《补贴与反补贴协议》下可申诉补贴之研究[D];苏州大学;2003年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978