收藏本站
《武汉理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于领域的主题信息采集技术研究

卢承山  
【摘要】:随着互联网的飞速发展,互联网已成为全世界最大的信息载体。人们对网络信息的需求量越来越大,越来越个性化,如何从海量的网络数据源中找到用户关心的数据,已成为当前Web信息检索领域研究的热点问题。2011年1月19日,CNNIC发布了第27次中国互联网络发展状况统计报告,指出互联网上的信息量呈爆炸式的增长,2010年网页数量达到600亿个,年增长率达78.6%。 Web中包含的信息量如此巨大,通用搜索引擎正面临信息采集,存储,及时等方面的巨大挑战。而且,通用搜索引擎是面向所有的用户的,抓取尽可能多的网页来满足所有用户可能的查询请求;这样必然大大降低了网页抓取的效率和准确率。为了提高抓取效率和查询效率,主题爬虫就应运而生。 主题爬虫是限定爬虫在一定主题领域范围内下载网页的爬虫。它在爬行过程中会避开大量的与主题领域无关的信息,显然主题搜索引擎在查询的准确率和网页采集的效率上都有显著的提高。因此,以何种策略来选择网络爬虫的爬取路径,是决定能否采集到与领域相关信息的关键问题。目前,主流的主题爬虫的爬行策略主要分为两种:基于网页链接结构的搜索策略和基于内容评价的搜索策略。前者通过分析网页之间的相互链接关系,来确定网页的重要性,进而决定链接的访问顺序。该方法考虑链接结构和网页之间的链接关系,的确能够避免采集一些与主题无关的网页,但是,忽略了网页内容与主题的相关性,会出现搜索上的主题漂移问题。后者起源与文本检索中对文本相似度的评价,能够准确的评价网页内容与主题是否相关,然而却忽略了链接之间存在的结构信息的特点,因而在预测链接的网页价值方面还存在一些不足。 综合考虑以上两种策略的具体情况,本文结合以上两方面的优点,多粒度来对网页与主题的相关性做出评价。一方面预测分析链接的相关度,另一方面在链接无法确定的情况下,对网页的内容与主题相关性进行分析。在传统检索模型的基础上,结合本体的概念,提出一种基于本体语义树的主题网络爬行模型。该模型能够用语义概念树描述一个主题,与传统基于关键词描述主题的方法不同,它能够描述概念之间的简单语义关系。在此基础上,给出HTML页面内容与主题相关度的计算方法。在分析URL的相关度时,不仅分析链接锚文本与主题相关度,还结合了改进的PageRank算法来分析链接的相关度。只有当链接相关度小于给定的阀值时才会去下载链接对应的页面。这样的URL相关度计算方法可以大大减少不必要的计算开销,又可以充分地利用锚文本和链接重要度信息。最后还对那些不确定是否与主题相关的网页进行内容相关度计算,进而最终确定是否应该采集此网页。
【学位授予单位】:武汉理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP274.2

【参考文献】
中国期刊全文数据库 前8条
1 欧阳柳波,李学勇,李国徽,王鑫;专业搜索引擎搜索策略综述[J];计算机工程;2004年13期
2 李文杰;赵岩;;基于本体结构的概念间语义相似度算法[J];计算机工程;2010年23期
3 李效东,顾毓清;基于DOM的Web信息提取[J];计算机学报;2002年05期
4 夏天,樊孝忠,刘林;利用JNI实现ICTCLAS系统的Java调用[J];计算机应用;2004年S2期
5 张娜;张化祥;;基于超链接和内容相关度的检索算法[J];计算机应用;2006年05期
6 刘少辉,董明楷,张海俊,李蓉,史忠植;一种基于向量空间模型的多层次文本分类方法[J];中文信息学报;2002年03期
7 王灿辉;张敏;马少平;;自然语言处理在信息检索中的应用综述[J];中文信息学报;2007年02期
8 曹军;Google的PageRank技术剖析[J];情报杂志;2002年10期
中国博士学位论文全文数据库 前2条
1 胡燕;基于Web信息抽取的专业知识获取方法研究[D];武汉理工大学;2007年
2 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年
中国硕士学位论文全文数据库 前2条
1 刘金桂;基于本体的信息资源的组织[D];南京航空航天大学;2006年
2 杨月奎;基于语义的主题爬行方向研究[D];西华大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 张彦超;刘云;李勇;沈波;;基于自动生成模板的Web信息抽取技术[J];北京交通大学学报;2009年05期
2 廉捷;刘云;;网络舆情中的信息预处理与自动摘要算法[J];北京交通大学学报;2010年05期
3 蔡华利;刘鲁;王理;;突发事件Web新闻多层次自动分类方法[J];北京工业大学学报;2011年06期
4 王茹,宋瀚涛,陆玉昌;基于树自动机的网页数据抽取[J];北京理工大学学报;2004年09期
5 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期
6 马乐;翁智生;罗军;;一种基于SVM的网页层次分类算法[J];北京师范大学学报(自然科学版);2009年03期
7 张敏;;基于确定性树自动机技术的信息抽取研究[J];才智;2011年36期
8 陈悦;陈运;杨义先;胡迪;;基于遗传算法的聚焦爬虫搜索策略设计与研究[J];成都信息工程学院学报;2011年05期
9 张敏;;信息抽取技术在网页中的应用[J];中国城市经济;2011年20期
10 李敏;赵君;;垂直搜索引擎爬虫系统的设计[J];长江大学学报(自然科学版)理工卷;2010年03期
中国重要会议论文全文数据库 前10条
1 王雅莉;古丽拉·阿东别克;;哈萨克语通用词汇自动提取方法研究与实现[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 翟伟斌;许榕生;;基于Internet的CIS研究[A];第十三届全国核电子学与核探测技术学术年会论文集(下册)[C];2006年
3 廖祝华;刘建勋;易爱平;;基于用户兴趣的Web服务发现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
4 韩杰;廖闻剑;彭艳兵;;基于楼层分割的BBS信息提取[A];中国通信学会第六届学术年会论文集(上)[C];2009年
5 韩杰;廖闻剑;彭艳兵;;基于楼层分割的BBS信息提取[A];中国通信学会第六届学术年会论文集(中)[C];2009年
6 梁勇;张文;;网络舆情采集系统的设计[A];2011年全国通信安全学术会议论文集[C];2011年
7 丁政建;张路;;基于本体的语义检索研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
8 王文生;谢能付;;基于Web的农业信息自动抽取方法研究[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年
9 陆勇;侯汉清;;基于词典注释的汉语同义词自动识别[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
10 陈志峰;朱巧明;;面向课程教学的中文问答系统研究[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
2 吴承荣;骨干通道上的网络论坛通信信息监测和分析的关键技术研究[D];复旦大学;2011年
3 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年
4 刘朝涛;中文问答系统中的句型理论及其应用研究[D];重庆大学;2010年
5 黄九鸣;面向舆情分析和属性发现的网络文本挖掘技术研究[D];国防科学技术大学;2011年
6 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
7 常春;Ontology在农业信息管理中的构建和转化[D];中国农业科学院;2004年
8 杜文斌;基于神经网络的冠心病证候诊断标准与药效评价模型研究[D];辽宁中医学院;2004年
9 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年
10 徐建锁;知识管理和文本挖掘的若干问题研究[D];天津大学;2004年
中国硕士学位论文全文数据库 前10条
1 王丽敬;地理案例的空间相似性计算[D];山东科技大学;2010年
2 孙岭;一种基于前缀表达式的Web信息抽取方法的关键问题的实现[D];山东科技大学;2010年
3 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年
4 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年
5 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
6 方少卿;Web就业信息抽取系统的实现研究[D];合肥工业大学;2010年
7 范春晓;基于XML的Web信息抽取技术研究[D];沈阳理工大学;2010年
8 杨鼎;基于朴素贝叶斯的中文文本情感倾向分类研究[D];湖南工业大学;2010年
9 于飞;基于搜索引擎的个性化推荐研究[D];哈尔滨理工大学;2010年
10 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期
2 李蕾;周延泉;王菁华;;基于全信息的中文信息抽取系统及应用[J];北京邮电大学学报;2005年06期
3 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期
4 王红梅,朱洪秀,王凌;对中文搜索引擎未来发展的探讨[J];东北电力学院学报;2001年04期
5 陈磊,冯玉珉;一种基于网页自动分类的分类查询搜索引擎[J];电脑与信息技术;2004年06期
6 杨坚争;李朝平;;垂直搜索引擎及其应用[J];电子商务;2006年10期
7 张绍华,徐林昊,杨文柱,薛文玲,李天柱;基于样本实例的Web信息抽取[J];河北大学学报(自然科学版);2001年04期
8 陈少飞,郝亚南,李天柱,徐林昊,杨文柱;Web信息抽取技术研究进展[J];河北大学学报(自然科学版);2003年01期
9 荆涛,左万利;基于可视布局信息的网页噪音去除算法[J];华南理工大学学报(自然科学版);2004年S1期
10 朱礼军,陶兰,刘慧;领域本体中的概念相似度计算[J];华南理工大学学报(自然科学版);2004年S1期
中国博士学位论文全文数据库 前2条
1 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年
2 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
中国硕士学位论文全文数据库 前7条
1 杨光飞;基于本体的项目和领域专家匹配系统研究[D];大连理工大学;2005年
2 张晨彧;基于语义度量的本体映射及语义查询的研究[D];合肥工业大学;2005年
3 李威;基于向量空间的文本自动分类系统的研究和实现[D];兰州理工大学;2005年
4 李兴隆;基于Ontology的文档检索[D];东北大学;2005年
5 邹娟;面向中文文本的特征值提取[D];湘潭大学;2005年
6 董占兵;基于形式概念分析的主题搜索策略研究[D];西华大学;2007年
7 宫玲;概念格建格算法的研究[D];辽宁师范大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 斌子;织网酷软 网页文件压缩助理——HTML Shrinker[J];网络与信息;2003年02期
2 马向玲,马向阳,李伟;用Dreamweaver制作博士招生网站[J];教育信息化;2001年08期
3 小贝壳;保存网页的利器——网文快捕信息管理速战[J];电脑应用文萃;2004年03期
4 ;剖析恶意网页修改注册表[J];电脑数码采购周刊;2005年02期
5 miniworm;;圆角的革命[J];电脑爱好者;2007年07期
6 张启宇;朱玲;车忠志;;网页文件元数据的自动提取[J];电脑与电信;2008年04期
7 陈宁江;杜凡远;;网页防篡改应用技术分析[J];现代机械;2009年03期
8 中英;;神奇的Internet临时文件夹[J];网络科技时代(数字冲浪);2002年01期
9 李佩华;制作网络版课件的快捷途径[J];教育信息化;2004年06期
10 于艳杰;网页文件上传方法分析与研究[J];哈尔滨学院学报;2005年05期
中国重要会议论文全文数据库 前10条
1 张星星;穗志方;;基于网页中深度并列结构的实例提取算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
4 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
5 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
6 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
10 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 陶秋丰;万事俱备,只欠东风[N];电脑报;2007年
2 本报记者 马文方;Yebol:从思维科学导出搜索引擎[N];中国计算机报;2010年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 李一鑫;搜索排名的红与黑[N];财经时报;2007年
9 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
10 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
中国博士学位论文全文数据库 前10条
1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
3 陈德品;基于迁移学习的跨领域排序学习算法研究[D];中国科学技术大学;2010年
4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
5 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
6 米杨;基于顶级本体整合的医学领域语义标注研究[D];吉林大学;2012年
7 钟美;基于Web的空间本体构建方法研究[D];武汉大学;2010年
8 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
9 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
10 姜赢;维度本体及其应用[D];武汉大学;2009年
中国硕士学位论文全文数据库 前10条
1 卢承山;基于领域的主题信息采集技术研究[D];武汉理工大学;2011年
2 屠辉;中文重复网页的检测算法研究[D];北京邮电大学;2010年
3 黄伟光;网页木马的防御与检测技术研究[D];北京交通大学;2011年
4 易方昶;基于网页后门木马监测系统的研究和设计[D];北京化工大学;2010年
5 史晶晶;基于CRF的Web机构实体信息抽取系统[D];吉林大学;2011年
6 陈瑜芳;主题爬虫系统的研究[D];武汉理工大学;2010年
7 王征;基于布隆过滤器算法的网页消重技术的实现与应用[D];北京交通大学;2010年
8 尹力;网页防篡改系统在校园网中的应用研究[D];河北科技大学;2011年
9 孔辉;一种网页防篡改系统的设计与实现[D];北京邮电大学;2011年
10 梁建飞;网络环境下获取汉维篇章级平行语料的研究[D];新疆大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026