收藏本站
《太原理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于CBR的协同Web搜索研究

孙静宇  
【摘要】:随着互联网技术的飞速发展,Web站点和用户数量剧增,WWW已经发展成为包含着巨量信息资源和用户的复杂网络,起着为全世界人们实现信息传递和共享的作用。然而,海量的信息导致了‘‘信息过载”,使用户常常在信息的海洋中迷失方向,越来越难以高效地获取自己需要的特定信息。为此,近年来Web搜索越来越受到人们的重视,成为计算机领域基本的研究问题之一。其中,个性化Web搜索、社会化搜索、协同Web搜索是目前最受关注的几个主要问题。 一般来说,用户搜索过程产生的搜索历史、个人收藏等是极其重要的经验信息。随着Web 2.0时代的到来,万维网上涌现出大量其他形式的用户搜索经验,如各类标签、投票、评论等等。若通过合理的方式感知、组织并利用它们,将有可能进一步帮助用户提高获取信息的能力。然而,一方面,由于专家级别的用户拥有一定的专业知识或较强的搜索技巧,往往能较快地找到满意的信息,产生的搜索经验质量很高,是最有价值的资源;另一方面,用户搜索经验作为一种经验信息,可借鉴案例推理(Case- Based Reasoning, CBR)的方法进一步处理。为此,本文作者基于案例推理,探索协同专家进行Web搜索过程中涉及的用户搜索经验的获取、表示、组织、利用以及异常数据处理等方面的问题。具体来说,主要完成以下工作: (1)在回顾目前Web搜索技术发展现状及遇到的问题后,总结和分析了目前协同Web搜索研究现状,指出了目前研究中存在的问题与不足,并总结了未来研究重点。在此基础上,第一,通过对传统Web搜索引擎的发展分析,概括出实现协同Web搜索的两种方式,即内嵌或外挂在传统搜索引擎上实现协同Web搜索;第二,通过分析领域知识对Web搜索的影响,指出可利用专家及其搜索经验进一步提高用户搜索体验,实现用户间的协同Web搜索,并以此为基本假设,提出基于CBR的协同专家搜索经验Web搜索模型,指出可能的实现方案与关键技术;第三,探索实现外挂式协同Web搜索的搜索引擎-浏览器插件-推荐引擎模式,介绍基于CBR的推荐系统体系结构。 (2)用户搜索经验的获取、表示与组织是协同Web搜索的核心问题之 在总结用户搜索经验类型的基础上,重点介绍基于模板的搜索引擎返回结果提取方法;在回顾案例表示方法的基础上,提出改进的基于查询和基于资源的用户搜索经验案例表示方法;关于用户搜索经验的组织问题,提出基于社区组织用户搜索经验的方法及多案例库组织方法。 (3)探索用户搜索经验的利用问题。在讨论用户搜索经验的利用方式基础上,首先,探讨基于用户搜索经验的用户建模问题,介绍基于关键字权重的用户模型和基于语义关系的层次用户模型建立方法;其次,通过分析相关研究指出,可以采用主题过滤的方法识别专家及其搜索经验,并提出基于推荐频率和基于层次用户模型识别专家搜索经验的方法;最后,在总结检索和推荐专家搜索经验相关方法后,重点介绍本文作者研究实现的ExpertRec协同Web搜索原型系统采用的推荐策略和一种利用专家搜索经验优化网页排名的方法,并进行相关实验,证明基于层次用户模型识别的专家搜索经验有效,可以进一步提高用户搜索体验。 (4)探讨用户搜索经验的异常检测问题。通过分析目前用户搜索经验异常数据处理中存在的问题,指出用户搜索经验收集和维护过程中产生或遇到的异常数据可采用实时异常检测的方法处理。为此,在介绍异常检测相关研究和特异性因子的基础上,为了满足实时异常检测的需要,提出了采样特异性因子(Sampled Peculiarity Factor, SPF)的概念,设计了基于SPF的异常检测算法,并进行实验。结果表明,采样特异性因子能代替其他特异性因子用于提高算法的性能,适合实时异常检测。而后,介绍了一种社区自动推荐方法和设计了一种基于SPF的搜索经验库在线维护方法。 (5)原型系统。基于上述研究提出的相关模型、算法、方法等,本文作者实现了Whitesun内嵌式协同Web搜索原型系统和ExpertRec外挂式协同Web搜索原型系统,证明了相关模型和方法的正确性,为进一步探索协同Web搜索相关问题提供了参考。
【学位授予单位】:太原理工大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP391.3

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 牛之贤;孙静宇;石淑萍;;基于采样特异性因子的实时异常检测[J];计算机科学;2013年03期
中国硕士学位论文全文数据库 前2条
1 石淑萍;基于采样特异性因子的实时异常检测[D];太原理工大学;2012年
2 李鹏;合作信息查寻与检索的相关性判断研究[D];西南大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 郭艳红,邓贵仕;基于事例的推理(CBR)研究综述[J];计算机工程与应用;2004年21期
2 张曌;夏国平;李雪峰;;基于案例推理的电子商务个性化推荐系统[J];计算机工程;2007年20期
3 刘芳,姚莉,王长缨,张维明;基于语义Web的案例表示和CBR系统结构研究[J];计算机应用;2004年01期
4 李玲娟;汤文宇;王汝传;;基于XML的案例表示和案例库构造方法[J];计算机应用研究;2007年11期
5 李远明;试析搜索引擎技术及其未来发展趋势[J];情报杂志;2002年07期
6 姜丽红;徐博艺;席俊红;;基于案例推理的过滤算法及智能信息推荐系统[J];清华大学学报(自然科学版);2006年S1期
7 陈斌;陈松灿;潘志松;李斌;;异常检测综述[J];山东大学学报(工学版);2009年06期
8 黄知义,周宁;几类搜索引擎的原理剖析、比较研究及发展趋势探讨[J];图书馆学研究;2005年03期
9 蒋卫星;金瓯;张彬;;Web搜索算法研究综述[J];计算机技术与发展;2007年04期
10 张兴华;搜索引擎技术及研究[J];现代情报;2004年04期
中国博士学位论文全文数据库 前5条
1 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
2 江开忠;上下文感知的Web搜索关键技术研究[D];华东师范大学;2008年
3 薛安荣;空间离群点挖掘技术的研究[D];江苏大学;2008年
4 茹昭;企业信息检索中的对象检索方法研究[D];北京邮电大学;2008年
5 潘建国;基于语义的用户建模技术与应用研究[D];上海大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 张振海;王晓明;党建武;张雁鹏;;城市轨道交通应急决策支持系统的研究[J];安全;2012年03期
2 夏小威;廖振良;;仿生智能算法在突发环境污染事件应急响应中的应用[J];环境科学与管理;2010年12期
3 赵静;;搜索引擎优化的作弊与防范[J];办公自动化;2010年22期
4 王西锋;张晓孪;;形式概念分析在基于事例推理中的应用[J];宝鸡文理学院学报(自然科学版);2006年04期
5 陈梅;管力明;杨根福;;基于事例推理的胶印质量管理专家系统[J];包装工程;2007年04期
6 牛书杰;李红;;基于CBR的双语语境知识表征系统研究[J];重庆大学学报(社会科学版);2009年06期
7 赵胜军;;Google搜索引擎使用分析[J];时代教育(教育教学);2010年04期
8 袁媛;汪定伟;王洪峰;;基于案例推理的供水故障管理决策支持系统[J];东北大学学报(自然科学版);2007年05期
9 上超望;刘清堂;杨宗凯;赵呈领;朱晓亮;;A Requirement Driven Learning Management Architecture Based on BPEL[J];Journal of Donghua University(English Edition);2010年02期
10 姜亮;孙铁兵;屈福政;;领域CBR本体及其在范例表示和范例修改中应用研究[J];大连理工大学学报;2009年02期
中国重要会议论文全文数据库 前10条
1 屈利;苑津莎;张卫华;李丽;;结合粗糙集的事例推理在负荷预测中的应用[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
2 ;A Personalized Recommendation System Combining Case-Based Reasoning and User-Based Collaborative Filtering[A];2009中国控制与决策会议论文集(3)[C];2009年
3 黄卫东;;基于环境感知的应急管理知识需求研究[A];第四届中国软件工程大会论文集[C];2007年
4 屈利;苑津莎;张卫华;李丽;;基于事例推理的负荷预测[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
5 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
6 宁钟;孙薇;;基于案例推理的供应链突发危机应急处理原型系统[A];第三届(2008)中国管理学年会论文集[C];2008年
7 孙进生;吴建华;刘利平;;高炉热风炉燃烧CBR智能控制系统[A];第七届工业仪表与自动化学术会议论文集[C];2006年
8 党常会;章林柯;朱海潮;;专家系统在声学故障快速修复中的应用研究[A];第十三届船舶水下噪声学术讨论会论文集[C];2011年
9 丁晟春;刘逶迤;熊霞;梅健;;基于领域本体和语块分析的信息抽取的研究与实现[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
10 蔺继国;徐锡山;;一种基于用户点击数据的个性化PageRank算法[A];第六届全国信息检索学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 费玉莲;面向电子商务的谈判支持系统研究[D];浙江工商大学;2011年
2 张英菊;应急预案辅助设计及评价问题研究[D];大连理工大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 王骏;无监督学习中聚类和阈值分割新方法研究[D];南京理工大学;2011年
5 杨鹏;离群检测及其优化算法研究[D];重庆大学;2010年
6 郭建校;改进的高维非线性PLS回归方法及应用研究[D];天津大学;2010年
7 袁晓芳;基于情景分析与CBR的非常规突发事件应急决策关键技术研究[D];西安科技大学;2011年
8 李沛然;汽车排气消声器设计技术研究及其专家系统开发[D];重庆大学;2011年
9 冯爱民;结构驱动的单类分类器设计及拓展研究[D];南京航空航天大学;2011年
10 鞠可一;石油价格波动对经济的影响及其预警知识库系统研究[D];南京航空航天大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年
2 邢洪凯;ATN中协商机制的研究[D];哈尔滨工程大学;2010年
3 芦荣松;基于产品研发的IGDSS知识表示及其推理机制研究[D];中国海洋大学;2010年
4 潘正高;基于内容的Web新闻文本自动分类问题研究[D];合肥工业大学;2010年
5 陈德峰;基于Context的时空离群点检测模型研究[D];华东理工大学;2011年
6 曾睿;基于案例推理的突发大气污染事件应急支持系统的研究[D];昆明理工大学;2010年
7 朱佳妮;基于事例推理和客户知识管理的电热水器售后服务研究[D];东华大学;2011年
8 顾新财;面向多维数据的孤立点挖掘方法研究[D];辽宁工业大学;2011年
9 陈博;网上商店用户潜在购物需求的信息表达[D];吉林大学;2011年
10 周凯涛;语义网中航运信息的存储与查询系统研究[D];大连海事大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 王雅坤;成全;;信息检索相关性研究综述及发展趋势[J];图书与情报;2012年01期
2 褚峻,张咏,巢乃鹏;信息查寻活动中的合作行为与合作式信息查寻[J];大学图书馆学报;2003年04期
3 文俊浩;吴中福;吴红艳;;空间孤立点检测[J];计算机科学;2006年05期
4 薛安荣;鞠时光;;基于空间约束的离群点挖掘[J];计算机科学;2007年06期
5 郑建国,焦李成;偏差检测挖掘方法研究[J];计算机工程;2001年08期
6 姜灵敏;基于相似系数和检测孤立点的聚类算法[J];计算机工程;2003年11期
7 薛安荣;鞠时光;何伟华;陈伟鹤;;局部离群点挖掘算法研究[J];计算机学报;2007年08期
8 陆声链,林士敏;基于距离的孤立点检测及其应用[J];计算机与数字工程;2004年05期
9 黄洪宇;林甲祥;陈崇成;樊明辉;;离群数据挖掘综述[J];计算机应用研究;2006年08期
10 黄祥喜;;关于情报检索中的相关性问题的研究[J];情报科学;1984年05期
中国博士学位论文全文数据库 前1条
1 成颖;信息检索相关性判据及应用研究[D];南京大学;2011年
中国硕士学位论文全文数据库 前2条
1 陆声链;孤立点挖掘及其内涵知识发现的研究与应用[D];广西师范大学;2005年
2 武群惠;基于不同属性数据流的离群数据挖掘算法的研究[D];燕山大学;2010年
【二级引证文献】
中国期刊全文数据库 前1条
1 张贤骥;王伦文;;基于构造型神经网络的异常模式发现方法[J];计算机科学;2014年07期
【二级参考文献】
中国期刊全文数据库 前10条
1 邓志鸿,唐世渭,张铭,杨冬青,陈捷;Ontology研究综述[J];北京大学学报(自然科学版);2002年05期
2 宋丽哲,牛振东,宋瀚涛,余正涛,师雪霖;数字图书馆个性化服务用户模型研究[J];北京理工大学学报;2005年01期
3 钟义信;自然语言理解的全信息方法论[J];北京邮电大学学报;2004年04期
4 钟义信;面向智能研究的全信息理论——纪念Shannon信息论50周年[J];北京邮电大学学报;1998年04期
5 李明;Multi-Agent的范例推理[J];重庆师范学院学报(自然科学版);2001年03期
6 朱靖波,姚天顺;中文信息自动抽取[J];东北大学学报;1998年01期
7 邓珞华;信息检索系统数学模型的理论及其评价——谨以此文献给信息检索的先驱杰拉尔德·索顿先生[J];大学图书馆学报;2002年01期
8 袁颖芬 ,张玥杰;英汉机译中未登录词的识别[J];电子技术;2004年02期
9 黄毅群;卢正鼎;胡和平;李瑞轩;;分布式异常检测中隐私保持问题研究[J];电子学报;2006年05期
10 周俊生;戴新宇;尹存燕;陈家骏;;基于层叠条件随机场模型的中文机构名自动识别[J];电子学报;2006年05期
中国博士学位论文全文数据库 前2条
1 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
2 田永鸿;基于上下文的统计关系学习研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前2条
1 陈晴;基于条件随机场的自动分词技术的研究[D];东北大学;2005年
2 李盛韬;基于主题的Web信息采集技术研究[D];中国科学院研究生院(计算技术研究所);2002年
【相似文献】
中国期刊全文数据库 前10条
1 钟世通;;C++Builder编程访问网页信息的方法[J];科技资讯;2007年19期
2 吴鹏飞;马凤娟;;基于Boost.Regex的网页信息抽取[J];电脑编程技巧与维护;2009年15期
3 徐明;;轻松破解网页右键屏蔽六招[J];电脑校园;2002年12期
4 杜翠茹;;浅析网页布局方法在教学中的优化[J];大众科技;2010年05期
5 孟涛,闫宏飞,王继民;Web网页信息变化的时间局部性规律及其验证[J];情报学报;2005年04期
6 ;和朋友看同一个网页的幸福生活[J];计算机与网络;2005年18期
7 张晓彦;张晓明;;一种基于表格属性的网页信息隐藏算法[J];北京石油化工学院学报;2009年01期
8 郭利伟;王家兵;;Web信息自动标引方法比较[J];内蒙古科技与经济;2009年07期
9 胡少荣;孟嗣仪;刘云;张彦超;丁飞;;网页信息自动抽取技术的研究[J];铁路计算机应用;2010年09期
10 张莉,曾致远;Windows下网页信息实时监听程序的设计与实现[J];微计算机信息;2005年03期
中国重要会议论文全文数据库 前10条
1 韩近强;赵静;杨冬青;唐世渭;姚小波;;基于领域知识的网页筛选系统[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
2 王晓峰;刘惟一;;从用户需求到网页集团的模糊变换[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
3 吴倩;杨逍;张兆心;;基于视觉特征的网页信息提取[A];第六届全国信息检索学术会议论文集[C];2010年
4 罗阳;季铎;张桂平;王莹莹;;面向单一网页的双语资源挖掘方法[A];第六届全国信息检索学术会议论文集[C];2010年
5 张贯虹;乌达巴拉;巩政;;基于向量空间模型的网页文本句子对齐方法研究[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
6 赵玉芳;张一鸣;;基于网页信息的印象形成的初步研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
7 张阳;李战怀;近藤广幸;;WEB PAGE的自动分类[A];第十六届全国数据库学术会议论文集[C];1999年
8 甘卫东;郭宏骞;曾令奇;;泌尿外科病人使用因特网情况及相关专业网页质量调查[A];第十五届全国泌尿外科学术会议论文集[C];2008年
9 黄华军;王保卫;孙星明;;基于CSS类选择符重复引入的网页信息隐藏算法[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年
10 何平;李锦;;基于Web挖掘技术的用户模糊偏好分析[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
中国重要报纸全文数据库 前10条
1 壮壮;批量保存网页信息[N];电脑报;2004年
2 东方早报记者 李伟;要名还是要利,这是个问题[N];东方早报;2011年
3 金山软件副总裁 杨桓;着力“三大系统” 构筑网络安全屏障[N];中国电子报;2009年
4 郭京霞;枫叶之都状告百度恶意排名一审败诉[N];中国知识产权报;2007年
5 路人甲;请个专家来贴图[N];电脑报;2005年
6 夏凌;搜索引擎排名纠纷百度胜出[N];中华工商时报;2007年
7 钱鹏;网尽Web页中的好东东[N];电脑报;2004年
8 郭京霞;百度胜诉搜索引擎排名纠纷案[N];中国企业报;2007年
9 任一鸣;垂直搜索:抓住细分需求[N];计算机世界;2007年
10 章森 王伟;搜索引擎的工作机制[N];计算机世界;2006年
中国博士学位论文全文数据库 前10条
1 焦斌星;用于搜索的网页可视化摘要技术研究[D];中国科学技术大学;2012年
2 陈洁;基于概念融合的网页筛选技术研究[D];北京邮电大学;2013年
3 孟宪军;互联网文本聚类与检索技术研究[D];哈尔滨工业大学;2009年
4 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
5 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
6 刘守群;海量网络视频快速检索关键技术研究[D];中国科学技术大学;2010年
7 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年
8 段瑞雪;基于依存关系的用户意图的研究[D];北京邮电大学;2011年
9 张勇实;基于链接相似性分析的WEB结构挖掘方法研究[D];哈尔滨工程大学;2012年
10 曹鲁慧;Web个人信息集成问题研究[D];山东大学;2012年
中国硕士学位论文全文数据库 前10条
1 于洪波;中文网页自动采集与分类系统设计与实现[D];北京邮电大学;2010年
2 钟鸿鹏;基于时态信息的网页排序系统的研究与实现[D];华南理工大学;2010年
3 张航;主题爬虫的实现及其关键技术研究[D];武汉理工大学;2010年
4 冯明远;深度网络信息爬取关键技术研究与实现[D];浙江大学;2010年
5 邓科;智能搜索中的中文网页分类研究[D];兰州理工大学;2011年
6 党春辉;网页消重和聚类算法在高校搜索引擎中的研究与应用[D];东华大学;2010年
7 马伟瑜;基于改进的PageRank的网页信息可信度评估方法研究[D];河北大学;2011年
8 任斌;基于本体的主动学习主题爬行的研究与实现[D];吉林大学;2010年
9 任兰鹏;基于代表样本的中文网页分类研究[D];山东大学;2010年
10 李霞;文本过滤防火墙技术研究[D];北方工业大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026