收藏本站
《安徽理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的面向主题爬行搜索引擎的应用研究

张丽娟  
【摘要】:基于主题爬行的搜索引擎,即垂直搜索引擎,又可称为主题搜索引擎。它与通用搜索引擎的区别主要体现在资源与服务上,主题搜索引擎提供的资源都是与某个主题相关的,服务上更具有专业特色,有一定程度的个性化。由于只针对某一特定主题进行深入挖掘,所以在特定主题上分类更加细致更加精确,数据也更加全面和深入,资源的更新也相对更加及时。Web资源日新月异的发展,更新和多元化发展的速度让搜索引擎面临着一个尴尬的境地。通用搜索引擎已无法满足特定用户更深入的查询需求,因而针对特定领域进行主题爬行的垂直搜索引擎将会越来越实用以及可行。 本文主要对垂直搜索引擎的核心主题爬行进行研究,它的关键技术包括网页分类技术、待爬行URLs优先级计算以及主题爬行算法。本文针对关键技术介绍了基于数据挖掘的网页分类方法,并提出了基于网页分块的待爬行URLs优先级计算方法,通过利用网页分块技术,以块为单位来计算待爬行URLs的主题相关性,通过整个块的文本来预测待爬行URLs与主题的相关度,这样就可以解决单个链接的锚文本包含的信息太少,对网页与主题的相关度判断有所限制。并且可以更好的过滤噪音块和与主题不相关的链接块,在一定程度上提高主题爬行效率。最后设计并构建出了一个面向电脑产品信息的垂直搜索引擎系统,主题爬行模块主要是构建了基于SVM的二元分类器,判断当前网页的主题相关性,提高了主题判断的精确性。基于Lucene检索框架设计并实现了信启、处理模块和信息检索模块,为整个搜索引擎的设计提供了很大的方便。
【学位授予单位】:安徽理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP393.092

【相似文献】
中国期刊全文数据库 前10条
1 陶镇威;周雨程;;基于Compass框架的高级搜索系统的设计与实现[J];重庆理工大学学报(自然科学);2011年08期
2 周拴龙;;Lucene.net中文分词算法分析[J];郑州大学学报(理学版);2011年03期
3 ;李彦宏论搜索引擎三个定律[J];新电子;2001年02期
4 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期
5 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期
6 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期
7 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期
8 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期
9 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期
10 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 主持人 陈建栋;搜索引擎能帮企业做什么[N];光明日报;2005年
2 本报记者 陈建栋;搜索引擎掀起第三次网络浪潮[N];光明日报;2005年
3 曾正乐;搜索引擎为啥那么热[N];经济日报;2005年
4 本报记者 秦海波;今夏搜索引擎最热[N];经济日报;2005年
5 FN记者 柳立;我国搜索引擎市场竞争格局初步确定[N];金融时报;2005年
6 闫辉;搜索引擎猜想[N];计算机世界;2005年
7 本报记者 李剑;搜索引擎进入“泛门户”时代[N];通信信息报;2005年
8 华夏;搜索引擎:有钱便是爷 涉嫌广告欺诈[N];江苏科技报;2008年
9 记者 毛涛涛;优酷主动屏蔽搜索引擎[N];北京商报;2008年
10 笑愉;2008年中国搜索引擎市场将突破50亿元[N];中国税务报;2008年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
2 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
3 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
4 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
5 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
6 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
7 潘亭沥;基于Lucene的面向商业应用的搜索引擎研究与实现[D];电子科技大学;2007年
8 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
9 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
10 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026