收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

土豆网视频搜索引擎系统的设计与实现

谢兵  
【摘要】: 土豆网是国内最早开展视频分享业务的网站。土豆网经过了几年的发展,目前已经发展成为每天有1亿多次Page View(简称PV)和几万个视频上传的视频网站。在土豆网上,每天都有大量的用户上传视频节目,到目前为止土豆网上已经拥有了2000多万的视频节目。这些节目每天大约被观看8000多万次,用户在观看视频前,最重要的是要能够找到自己想要看的视频,这就不得不依靠网站的视频搜索功能。 本论文首先概括和介绍了一些搜索引擎相关的技术,说明了垂直搜索引擎的概念。重点介绍了Lucene这个开源的搜索引擎的开发框架。简单说明了采用Lucene进行索引和搜索的基本过程和相关的API。中文分词是搜索引擎中比较重要的部分,本文分析了正向和逆向的最大匹配分词以及基于统计的分词方法。 本文的重点是对视频搜索引擎的架构进行了详细的设计和实现。将整个系统按照模块划分为视频搜索portal、视频搜索查询、视频数据索引三部分。然后对系统进行了分层的架构设计,整个系统总共分为5层,包括:数据库层、索引层、查询层、portal层以及页面缓存层。其中页面缓存层采用开源的Squid服务器进行实现请求处理和缓存的功能,同时采用Squid的sibling的运行模式实现负载均衡。对于核心的索引层、查询层和portal层进行了详细的处理流程的分析和设计。对不同层次之间的通信方式和数据交换格式都进行了专门的设计。在视频搜索引擎的实现方面,本文采用Java进行了主要的功能模块的开发。采用Tomcat作为web容器,memcached作为内存缓存服务器,还有MySQL数据库服务器。在索引和查询的这两个过程中都非常依赖中文分词技术,本文采用了正向最大匹配的分词算法。对于日期、中文数字、繁体字、特殊字符都进行转换,使用自定义的精简的词库进行了中文分词算法的实现。对于视频搜索结果的排序,本文设计和实现了一套使用视频相关的播放次数、上传时间、被评论的次数等多重指标进行综合权重计算的排序算法。最终成功地设计和实现了一套完整的视频搜索引擎系统,为土豆网提供了强大的视频搜索功能,满足了用户搜索视频的需求。 经过反复的设计和实践,整个视频搜索引擎系统逐步的稳定和完善,中文分词工具包的质量也达到了比较高的水平,视频排序算法的实现为整个搜索引擎质量的提升起到了非常重要的作用。系统的架构也在实践中得到了检验,在每天几千万的访问情况下,系统能够非常稳定的运行。目前,土豆网每天有1500万次的视频搜索,通过视频搜索功能带给网站1000多万的播放次数。土豆网的视频搜索系统既方便了用户,也为网站带来了可观的点击次数和播放量。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 马志强;刘利民;苏依拉;马瑞明;;基于Lucene的站内搜索引擎研究[J];内蒙古工业大学学报(自然科学版);2009年01期
2 李静媛;浅谈搜索引擎应用技术[J];天津市财贸管理干部学院学报;2005年01期
3 杜娟;;Nutch中文分词的研究和改进[J];软件导刊;2011年06期
4 王仕仲;宁龙兵;;基于Nutch的中文搜索引擎的研究与实现[J];电脑开发与应用;2009年07期
5 王华栋;饶培伦;;基于搜索引擎的中文分词评估方法[J];情报科学;2007年01期
6 芦淑娟;;WebGIS搜索引擎系统研究与实现[J];软件导刊;2007年05期
7 盛启东;谭守标;徐超;冯二媛;陈军宁;;巧用黑盒法逆推百度中文分词算法[J];计算机技术与发展;2010年04期
8 陈刚;卢炎生;;BBS搜索引擎设计与实现[J];微计算机信息;2006年18期
9 谢峰;刘洪星;;基于Lucene的Web站内搜索引擎的研究[J];电脑知识与技术;2008年04期
10 丁兆贵;金敏;;基于Lucene的个性化搜索引擎研究与实现[J];计算机技术与发展;2011年02期
11 刘兆伟;黄永峰;;面向主题搜索引擎的实现与优化[J];数据通信;2011年04期
12 唐培丽;胡明;解飞;刘钢;;全文检索搜索引擎中文信息处理技术研究[J];情报科学;2006年06期
13 陈海波;张新家;;企业文档服务器中英文搜索引擎的设计与实现[J];微处理机;2009年02期
14 朱莹芳;;JAVA技术与人工智能在搜索引擎上的应用[J];硅谷;2009年24期
15 胡继钧;;基于Lucene全文检索引擎的研究与实现[J];科技创新导报;2010年20期
16 郑小波;郑诚;封军;;基于Nutch专题搜索引擎的研究[J];微计算机信息;2010年30期
17 向晖;郭一平;王亮;;基于Lucene的中文字典分词模块的设计与实现[J];现代图书情报技术;2006年08期
18 李颖;李志蜀;邓欢;;基于Lucene的中文分词方法设计与实现[J];四川大学学报(自然科学版);2008年05期
19 曲卫华;王群;;搜索引擎原理介绍与分析[J];电脑知识与技术(学术交流);2006年35期
20 陈建锋;;Nutch的中文问题研究[J];现代计算机(专业版);2009年07期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年
2 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
3 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
4 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
5 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
6 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
7 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
8 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
9 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
10 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
中国重要报纸全文数据库 前10条
1 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
2 李一鑫;搜索排名的红与黑[N];财经时报;2007年
3 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
4 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
5 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
6 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
7 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
8 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
9 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
10 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978