收藏本站
《江西师范大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于聚类分析的搜索引擎自动性能评价研究

吴世勇  
【摘要】:随着互联网的快速普及,通过网络共享的信息资源正以指数级的速度递增。要从众多的网页中找到我们需要的信息,无疑像大海捞针一样困难,搜索引擎技术就是为了帮助人们快速地找到所需的信息。而搜索引擎的检索性能评价作为信息检索研究中的核心课题之一,客观可靠的检索性能评价方式是必须考虑和设计的内容。 传统的搜索引擎性能评价方法需要人工标注标准答案集,需花费了大量的人力物力,并且评价结果依赖人工标注的准确性,效率较低。基于聚类分析的思路,提出了一种搜索引擎性能评价指标和自动进行搜索引擎性能评价的方法,此方法能自动计算信息类查询的覆盖范围,并根据其覆盖范围对检索结果进行聚类,通过评估函数实现检索性能的自动评价,并对如何利用类间距和类内距两个指标来定义合适的评估函数进行了分析。实验结果表明,基于聚类指标的评价方法与人工标注的评价方法的评价结果是相一致的。 具体来说,本文的工作主要包括以下几点: 1 )在大规模日志分析的网络搜索引擎用户行为研究的基础上,对Sogou实验室提供的查询日志进行分析,提取了查询日志中的信息类查询并提出了计算查询覆盖度的方法; 2)使用不同的搜索引擎(谷歌、百度、Bing)对提取出来的信息类查询进行检索,运用一些网页抓取器将检索返回的结果网页下载保存进行预处理; 3)构建了一个完整的检索系统评价实验平台,对检索结果进行聚类分析,通过类内距和类间距等聚类指标定义不同的评估函数对检索性能进行评价; 4)使用抽样方法进行人工标注,用传统的评价方法对检索性能进行评价,比较分析两种评价方法的优劣,完成多种评价函数的比较实验。
【学位授予单位】:江西师范大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

【相似文献】
中国期刊全文数据库 前10条
1 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期
2 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期
3 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期
4 黄名选;朱家安;冯平;;基于正负关联规则融合的信息检索模型[J];情报理论与实践;2011年07期
5 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期
6 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期
7 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期
8 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期
9 ;成长中的谷歌[J];IT时代周刊;2011年18期
10 林丽华;;用好SOSO的微博搜索功能[J];电脑迷;2011年16期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 余慧佳;刘奕群;张敏;茹立云;马少平;;基于大规模日志分析的网络搜索引擎用户行为研究[A];第三届学生计算语言学研讨会论文集[C];2006年
6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
中国重要报纸全文数据库 前10条
1 主持人 陈建栋;搜索引擎能帮企业做什么[N];光明日报;2005年
2 本报记者 陈建栋;搜索引擎掀起第三次网络浪潮[N];光明日报;2005年
3 曾正乐;搜索引擎为啥那么热[N];经济日报;2005年
4 本报记者 秦海波;今夏搜索引擎最热[N];经济日报;2005年
5 FN记者 柳立;我国搜索引擎市场竞争格局初步确定[N];金融时报;2005年
6 闫辉;搜索引擎猜想[N];计算机世界;2005年
7 本报记者 李剑;搜索引擎进入“泛门户”时代[N];通信信息报;2005年
8 华夏;搜索引擎:有钱便是爷 涉嫌广告欺诈[N];江苏科技报;2008年
9 记者 毛涛涛;优酷主动屏蔽搜索引擎[N];北京商报;2008年
10 笑愉;2008年中国搜索引擎市场将突破50亿元[N];中国税务报;2008年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
5 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
6 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
2 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
3 李海丰;基于Lucene的企业文档搜索引擎研究与应用[D];中南林业科技大学;2009年
4 赵善明;基于Lucene的主题搜索引擎研究[D];西安电子科技大学;2008年
5 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
6 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
7 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
8 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
9 王春芹;搜索引擎主题相关性研究[D];中山大学;2010年
10 张盛蕾;基于Java的浙江纺织服装学院校园网搜索引擎[D];电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026