收藏本站
《浙江工业大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的网络文学垂直搜索引擎的研究与实现

黄荣游  
【摘要】:随着互联网信息爆炸性增长,通用搜索引擎已经越来越难以满足人们日益增长的个性化需求。在面对专业搜索请求时,通用搜索引擎往往表现的力不从心。为了实现对特定行业的专、准、精的搜索,垂直搜索引擎诞生了。 首先,本文介绍了垂直搜索引擎的工作原理及相关技术。在了解Heritrix工作原理的基础上,运用基于链接标记数据的主题预测算法将Heritrix改造成主题网络蜘蛛,实现只抓取特定链接的目的;通过将Heritrix改造成多线程以增加系统的爬行效率。根据网络文学页面由动态模板生成的特点,实现对采集到的页面自动解析。 其次,根据网络文学的现状确定系统的基本功能和性能要求,设计出系统总体框架图,并详细阐述了系统各个模块的功能、流程图;为了帮助用户更好的理解系统,特别绘制了系统功能交互图和用例图。在了解Lucene总体架构和索引技术的基础上,设计出系统的检索模块和索引模块。通过引入DirectHit算法、基于内容的页面相关度算法和作品重要性加分,对Lucene的原排序算法进行改进,提高系统的查准率。另外,在检索阶段,引入缓存以加快系统的检索速度。 最后,对系统的查全率、查准率、检索时间进行测试,实验结果表明本系统是现实可行,具有实际应用价值。
【学位授予单位】:浙江工业大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前10条
1 宛玲,杨秀丹,杜晓静;试析中文搜索引擎的评价标准[J];情报科学;2000年01期
2 刘畅;;综合搜索引擎与垂直搜索引擎的比较研究[J];情报科学;2007年01期
3 谷俊;;基于互联网的信息采集系统的设计与实现[J];情报探索;2008年12期
4 何晓阳,吴强,吴治蓉;HITS算法与PageRank算法比较分析[J];情报杂志;2004年02期
5 何伟;薛素静;孔梦荣;杨正党;;基于Lucene的全文搜索引擎的设计与实现[J];情报杂志;2006年09期
6 邝砾;邓水光;李莹;吴健;吴朝晖;;使用倒排索引优化面向组合的语义服务发现[J];软件学报;2007年08期
7 王颖;;十年论剑:新世纪网络文学现状与问题[J];天津师范大学学报(社会科学版);2009年06期
8 罗林波;陈绮;吴清秀;;基于Shark-Search和Hits算法的主题爬虫研究[J];计算机技术与发展;2010年11期
9 郑力明;易平;;基于HTMLParser信息提取的网络爬虫设计[J];微计算机信息;2009年15期
10 吴炜;梁昆;李瑞轩;辜希武;卢正鼎;;一种基于主题相关度的网页排序算法[J];微电子学与计算机;2008年09期
【共引文献】
中国期刊全文数据库 前10条
1 王丽华;;网络文学崛起对当代文学的时尚化影响及改变[J];前沿;2012年05期
2 赵静,王玉平;目前我国搜索引擎研究的现状与发展[J];情报科学;2003年08期
3 唐培丽;胡明;解飞;刘钢;;全文检索搜索引擎中文信息处理技术研究[J];情报科学;2006年06期
4 汪新凡;;搜索引擎性能的多层次灰色评价模型[J];情报科学;2006年12期
5 刘畅;;综合搜索引擎与垂直搜索引擎的比较研究[J];情报科学;2007年01期
6 化柏林;;图书情报学核心期刊论文关键词计量分析研究(下)[J];情报科学;2007年08期
7 王文钧;李巍;;垂直搜索引擎的现状与发展探究[J];情报科学;2010年03期
8 潘正高;;基于规则和统计相结合的中文命名实体识别研究[J];情报科学;2012年05期
9 刘鲁红,刘力强,胡亚军;信息抽取技术在数字图书馆中的应用研究[J];情报理论与实践;2005年03期
10 焦玉英;宋晓晴;;基于VSM的文档信息检索改进[J];情报理论与实践;2007年01期
【二级参考文献】
中国期刊全文数据库 前10条
1 郝凤英;垂直网站及其信息服务模式[J];情报理论与实践;2002年02期
2 林端宜,陈榕虎;搜索引擎研究新技术[J];情报探索;2005年03期
3 张启宇;朱玲;张雅萍;;中文分词算法研究综述[J];情报探索;2008年11期
4 李勇,桑艳艳;网络文本数据分类技术与实现算法[J];情报学报;2002年01期
5 曹军;Google的PageRank技术剖析[J];情报杂志;2002年10期
6 徐群岭;搜索引擎的定性、定量评价研究与合理选择[J];情报杂志;2003年03期
7 何晓阳,吴强,吴治蓉;HITS算法与PageRank算法比较分析[J];情报杂志;2004年02期
8 邵晓良,刘红;Web信息采集中军事主题信息的识别[J];情报杂志;2004年07期
9 王晓宇,周傲英;万维网的链接结构分析及其应用综述[J];软件学报;2003年10期
10 刘奕群;岑荣伟;张敏;茹立云;马少平;;基于用户行为分析的搜索引擎自动性能评价[J];软件学报;2008年11期
【相似文献】
中国期刊全文数据库 前10条
1 蓝永健;;基于Lucene的校园网垂直搜索引擎的设计与实现[J];广东教育学院学报;2009年03期
2 王琦;张戈;何婧;;基于Lucene与Heritrix的图书垂直搜索引擎的研究与实现[J];计算机时代;2010年02期
3 张旭;;构建基于本地服务的垂直搜索引擎[J];才智;2011年18期
4 赵德平;刘阳;李鹏;;基于Lucene的房产信息垂直搜索引擎的研究[J];沈阳建筑大学学报(自然科学版);2011年01期
5 殷卫霞;;基于全文检索引擎Lucene的应用研究[J];泰州职业技术学院学报;2009年01期
6 文小燕;马光思;;基于Flex与J2EE垂直搜索引擎的设计与实现[J];电脑知识与技术;2011年10期
7 白坤;耿国华;;基于Lucene/Heritrix的垂直搜索引擎的研究与应用[J];计算机应用与软件;2009年01期
8 庄芯;;风投押宝垂直搜索 各方巨头介入又添疑点[J];IT时代周刊;2008年01期
9 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期
10 陈新颜;垂直搜索引擎辨析[J];现代情报;2004年09期
中国重要会议论文全文数据库 前10条
1 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
4 李明宙;罗艳;王宗义;;Lucene全文检索引擎的研究及应用[A];广西计算机学会2010年学术年会论文集[C];2010年
5 申兵一;巩青歌;;基于Lucene桌面搜索引擎系统的设计和实现[A];江苏省电子学会2010年学术年会论文集[C];2010年
6 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
7 李应兴;付婷;李勇;;基于LUCENE的藏文信息检索的研究与应用[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
8 ;Web搜索引擎原理与应用[A];四川省通信学会2005年学术年会论文集[C];2005年
9 刘源;詹舒波;;基于Solr的行业垂直搜索平台的研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 刘寿强;;基于Lucene的分级鉴权企业搜索引擎研究与设计[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 电子工业出版社 董娅 工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年
2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年
3 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年
4 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年
5 欧阳友权;网络文学:何时赢得艺术尊重[N];中国教育报;2005年
6 本报记者 裴蕾;降温:网络文学“落地”减速[N];四川日报;2008年
7 欧阳友权 谭志会;寻找网络文学的发展规律[N];文艺报;2008年
8 蒲荔子 王丰收 李建春 (本报记者 蒲荔子 实习生 王丰收);网络文学十年,从垃圾文学到市场传奇[N];南方日报;2009年
9 本报记者 刘方远;盛大文学、读吧网夺“星”背后:网络文学模式之争[N];21世纪经济报道;2009年
10 本报记者 林咏晴;网络文学盗版成风 打造共赢模式成破局关键[N];通信信息报;2009年
中国博士学位论文全文数据库 前10条
1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年
2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年
3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年
4 汲业;面向图像的垂直搜索引擎关键技术研究[D];大连海事大学;2013年
5 姜英;网络文学的价值[D];四川大学;2003年
6 崔宰溶;中国网络文学研究的困境与突破[D];北京大学;2011年
7 谢家浩;网络文学研究[D];苏州大学;2002年
8 欧阳友权;网络文学本体研究[D];四川大学;2004年
9 顾宁;网络社会环境下的当下中国文学研究[D];辽宁大学;2009年
10 谭华孚;媒介嬗变中的文学新生态[D];福建师范大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈航哲;基于Lucene的垂直搜索引擎的研究与应用[D];暨南大学;2010年
2 李亮;基于Lucene和Heritrix的职位垂直搜索引擎的设计与实现[D];中国地质大学(北京);2010年
3 黄荣游;基于Lucene的网络文学垂直搜索引擎的研究与实现[D];浙江工业大学;2011年
4 张伟;垂直搜索引擎设计与实现[D];西安电子科技大学;2008年
5 于景茹;基于Lucene的职位垂直搜索引擎的研究与实现[D];郑州大学;2011年
6 龙俊浩;基于Lucene数码产品垂直搜索引擎系统设计与实现[D];华南理工大学;2012年
7 邓丹君;基于Lucene的垂直搜索引擎关键技术研究[D];武汉理工大学;2011年
8 邵蕾;基于Lucene的教学资源垂直搜索引擎的研究与实现[D];北京邮电大学;2012年
9 朱敏;基于Lucene的垂直搜索引擎的研究与实现[D];成都理工大学;2012年
10 李文泽;个性化垂直搜索引擎研究[D];河南大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026