收藏本站
《北京交通大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

中文互联网视频搜索引擎系统策略研究

郭眈  
【摘要】:互联网是人类迄今为止发明的最大的信息知识宝库,特别是随着Web2.0时代的到来,互联网的信息贡献者普及到全体上网人群。搜索引擎的出现使得这些海量的信息的价值被真正发掘出来,让所有信息都拥有平等的被发现、获取和应用的机会。互联网上的信息种类由最初的文字、图片越来越向以音频、视频为主的多媒体方向拓展,对视频信息的检索需求也应运而生。继传统搜索引擎技术之后,如何实现高效的、适应大规模且快速增长和更新的视频内容的搜索成为新的研究热点。本论文即是作者于攻读博士学位期间从事中文互联网视频搜索引擎的研究开发工作的总结,这是国内第一个正式公开发布的视频搜索引擎。 本论文的研究工作自2006年开始。以国内最大搜索引擎的互联网数据库为基础,第一次对中文互联网的视频数据分布和用户搜索行为日志进行了大规模测量和研究,对中文互联网用户的视频搜索需求进行了充分细致的分析,在对传统搜索引擎的工作原理进行了具体分析和对视频搜索引擎提出具体评估标准之后,得出了传统搜索引擎不能胜任视频搜索引擎工作目标、有必要构建专用的视频搜索引擎的结论。在此基础上,本文提出了视频搜索引擎的架构模型,并指出实现视频搜索引擎的主要核心技术问题,包括面向视频分享网站的定向抓取和信息抽取,面向网页视频的挖掘和信息抽取,以及面向视频搜索的检索排序,并针对这些核心技术问题提出相应的算法。进一步,基于这些核心算法构建了国内外第一个基于中文互联网的视频搜索引擎系统,面向公众提供在线视频搜索服务,该引擎已成为国内影响力最大的互联网视频搜索引擎。论文主要工作和创新如下: 1)提出了面向视频分享网站的定向抓取的方法,主要解决视频分享网站的视频数据抓取和信息提取问题。在抓取的过程中,提出基于对视频分享网站的网站结构和网页结构进行分类的算法,对不同类型的网页可以采取不同的深度抓取策略,并针对包含视频内容的网页类型应用不同的信息抽取包装器,提取出识别规则,保证对视频分享网站的深度抓取和准确挖掘。 2)提出了基于传统搜索引擎的全网网页库中的网页视频进行挖掘和信息抽取的算法。对全网spider系统的URL抓取优先级算法进行了详细分析,提出了用DOM树方法进行网页视频进行信息抽取的方法,保证视频数据抽取的准确性,提升全面性。定向抓取与全网挖掘相结合,为视频搜索提供基本的数据源和文本索引信息,并在覆盖率和准确性之间取得平衡。 3)基于对用户视频搜索需求的分析,提出了适合中文视频搜索的归并排序的算法,并提出在线评估实验的方法,确定了算法参数取值,检验了算法的有效性。这种算法综合考虑了视频相关性、视频质量和网站质量,兼顾了用户进行检索时的相关性体验,以及检索后观看视频的播放体验。后续的研究工作进一步表明本文提出的排序算法在线评估方法是一种适应大规模网络应用的算法性能评估方法。 4)对基于以上核心技术构建的视频搜索引擎的效果进行了综合评估,从覆盖率、时效性、相关性等方面对视频搜索引擎进行了技术评估,并与后期出现的其它同类搜索引擎服务进行了对比,通过对第三方评测数据的分析,验证了本文的视频搜索引擎技术的相对性能,验证本文设计的算法及策略的有效性,并说明了本文所述视频搜索引擎对中国互联网在线视频行业的发展做出的贡献。
【学位授予单位】:北京交通大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP391.3;TP393.09

【相似文献】
中国期刊全文数据库 前10条
1 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期
2 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期
3 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期
4 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期
5 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期
6 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期
7 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期
8 ;成长中的谷歌[J];IT时代周刊;2011年18期
9 林丽华;;用好SOSO的微博搜索功能[J];电脑迷;2011年16期
10 张明蕾;;对“人肉搜索”的社会学解读[J];电视时代;2010年04期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 本报记者 张伟;开放务实 专业视频搜索开辟新时代[N];中国高新技术产业导报;2011年
2 主持人 陈建栋;搜索引擎能帮企业做什么[N];光明日报;2005年
3 本报记者 陈建栋;搜索引擎掀起第三次网络浪潮[N];光明日报;2005年
4 曾正乐;搜索引擎为啥那么热[N];经济日报;2005年
5 本报记者 秦海波;今夏搜索引擎最热[N];经济日报;2005年
6 FN记者 柳立;我国搜索引擎市场竞争格局初步确定[N];金融时报;2005年
7 闫辉;搜索引擎猜想[N];计算机世界;2005年
8 本报记者 李剑;搜索引擎进入“泛门户”时代[N];通信信息报;2005年
9 华夏;搜索引擎:有钱便是爷 涉嫌广告欺诈[N];江苏科技报;2008年
10 记者 毛涛涛;优酷主动屏蔽搜索引擎[N];北京商报;2008年
中国博士学位论文全文数据库 前10条
1 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
3 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
5 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
6 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
2 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
3 李海丰;基于Lucene的企业文档搜索引擎研究与应用[D];中南林业科技大学;2009年
4 赵善明;基于Lucene的主题搜索引擎研究[D];西安电子科技大学;2008年
5 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
6 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
7 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
8 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
9 王春芹;搜索引擎主题相关性研究[D];中山大学;2010年
10 张盛蕾;基于Java的浙江纺织服装学院校园网搜索引擎[D];电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026