收藏本站
《江西师范大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于迁移学习理论的Markov检索模型

朱莹婷  
【摘要】:在传统的信息检索中,检索模型是在静态数据集上训练得到的,模型一经训练,结构和参数都相对固定下来,没有根据新的数据自动修正的机制。但现实中,Web上的信息是实时更新的,经过一段时间训练好的模型往往会因为随后新数据的加入而使得检索性能明显下降。为了解决这个问题,传统的模型必须对新的数据重新进行学习,但在新的数据上重新训练一个模型需要耗费大量的时间,而且在旧数据上训练了很久的模型也因得不到利用而被浪费,因此,如何避免重新训练且很好地利用旧数据在新的数据上进行检索成为一个关键的迁移学习问题。 在本文中,我们在传统的基于Markov网络的信息检索模型基础上提出一个基于迁移学习理论的Markov检索模型(简称TLMR模型)。它利用Markov网络在旧数据上建立信息检索模型,由于Markov网络能够表示学习更新机制,可应用新数据集来更新已有的Markov网络,也即将已有的知识迁移到新的检索模型中。在这篇文章中,我们通过计算新、旧数据中词关系的Markov网络之间的KL距离来度量新、旧数据之间的关联程度,利用它来估计迁移量参数。 而且,在现实中Web上的信息并非只更新一次就不再变化,在旧数据上迁移一次得来的新模型,将其再次迁移到再次更新的数据上检索性能是否仍然会好,这是值得探索的。在本工作中,我们将TLMR模型在多个数据集上进行多步迁移,以此来探讨其适应动态数据的能力。 在TREC数据集上的单步与多步迁移实验表明模型能很好地在多个数据集间迁移,多步迁移实验也表明模型的学习能力与学习顺序无关。本文的工作和创新点在于: 1.在目前将迁移学习理论研究只应用于分类的情况下,将迁移学习理论用于信息检索领域,将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型中,利用在新旧数据上构造的Markov网络来进行知识的迁移。 2.在迁移学习的基础上提出将TLMR模型在多个数据集上进行多步迁移,从而观察在以Markov网络表达数据信息的前提下,旧知识在经过多步迁移后是否仍对新的检索任务有所帮助,以此来探讨TLMR模型对动态数据的适应能力。 3.通过在TREC数据集上的单步和多步实验证明了TLMR模型能在多个数据集上进行很好地迁移,多步迁移结果也证明模型的学习能力与学习顺序无关,符合人类的认知规律。
【学位授予单位】:江西师范大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前3条
1 何盈捷,刘惟一;由Markov网到Bayesian网[J];计算机研究与发展;2002年01期
2 左家莉,王明文,王希;基于Markov网络的信息检索扩展模型[J];清华大学学报(自然科学版);2005年S1期
3 李亦菲,朱新明;对三种认知迁移理论的述评[J];心理发展与教育;2001年01期
【共引文献】
中国期刊全文数据库 前10条
1 田苗苗;数据挖掘之决策树方法概述[J];长春大学学报;2004年06期
2 景虹;詹海生;;基于Web Services的个性化学习资源获取[J];中国远程教育;2006年08期
3 阮仁宗;冯学智;肖鹏峰;沈渭寿;;基于机器学习规则推理的湿地识别研究[J];地理科学;2005年06期
4 黄瑞毅,杨少华,李坤兰,吴福根;BP神经网络在元器件非工作可靠性参数预测中的应用[J];电子产品可靠性与环境试验;2005年05期
5 陈治平,林亚平,彭雅,王雷,童调生;基于最小类差异的无关信息预处理算法[J];电子学报;2003年11期
6 何敏;刘电芝;阳泽;;近年来国内学习迁移研究的成果、问题与建议[J];西华师范大学学报(哲学社会科学版);2006年02期
7 李小琳,何湘东,苑森淼;基于信息论和遗传算法的Bayesian网络弧定向方法研究[J];复旦学报(自然科学版);2004年05期
8 徐甜;田有贵;;数据挖掘在Web中的应用研究[J];福建电脑;2006年09期
9 龚龙生;化学复习应重在促进知识迁移[J];化学教育;2003年04期
10 陈欢;基于粗糙集理论的值约简及规则提取[J];福州大学学报(自然科学版);2004年04期
中国重要会议论文全文数据库 前10条
1 张敏;陆向艳;周敏;潘林琳;农冬冬;王彬彬;陈晓江;;数据挖掘在智能题库系统中的应用[A];广西计算机学会2004年学术年会论文集[C];2004年
2 马玉莲;王宇冬;王鑫;;基于解释的分类算法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
4 石志伟;吴功宜;;改善朴素贝叶斯在文本分类中的稳定性[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
5 陈宁昱;周雅倩;黄萱菁;吴立德;;利用未标注语料改进实体名识别性能[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
6 盛俊;王明文;余俊英;;一种基于潜在语义的Markov网络信息检索模型[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 刘汝佳;孙增圻;;RoboCup救援仿真组中火势蔓延的DBN模型[A];2007年足球机器人大会论文集[C];2007年
8 Du-Seong Chang;Key-Sun Choi;;Causal Relation Extraction Using Cue Phrase and Lexical Pair Probabilities[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
9 Karl-Michael Schneider;;Learning to Filter Junk E-Mail from Positive and Unlabeled Examples[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
10 Hiroya Takamura;Manabu Okumura;;A Comparative Study on the Use of Labeled and Unlabeled Data for Large Margin Classifiers[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
中国博士学位论文全文数据库 前10条
1 黄解军;贝叶斯网络结构学习及其在数据挖掘中的应用研究[D];武汉大学;2005年
2 王树梅;信息检索相关技术研究[D];南京理工大学;2007年
3 郭裕建;语感及其心理机制[D];华东师范大学;2002年
4 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年
5 叶航军;面向大规模图像库的索引和检索机制研究[D];清华大学;2003年
6 张昕源;基于数据挖掘技术的中国上市公司财务危机预警分析[D];吉林大学;2004年
7 王双成;面向智能数据处理的图形模式研究[D];吉林大学;2004年
8 张宏斌;信息获取中的两类不确定问题研究[D];华中科技大学;2004年
9 王冬光;控制技术在投资预测模型建立中的应用研究[D];哈尔滨工程大学;2005年
10 田新广;基于主机的入侵检测方法研究[D];国防科学技术大学;2005年
中国硕士学位论文全文数据库 前10条
1 陆小艺;贝叶斯分类器的增量学习及缺失数据处理的研究[D];广西师范大学;2005年
2 何湘东;贝叶斯网络弧定向方法研究[D];吉林大学;2004年
3 孙丽华;中文文本自动分类的研究[D];哈尔滨工程大学;2002年
4 刘钢;基于神经网络的文本分类系统NNTCS的设计和实现[D];中国科学院研究生院(软件研究所);2003年
5 肖燕华;基于特征分块的面向专业领域的网络信息搜索系统的研究与实现[D];东华大学;2004年
6 钟建坡;嵌入式检测仪及水中油含量检测技术研究[D];大庆石油学院;2004年
7 陈菡;基于Web的远程答疑系统的研究与开发[D];上海师范大学;2004年
8 董志勇;Web信息检索中基于超链接的网页评估算法的研究[D];河海大学;2004年
9 文专;基于神经网络的分类数据挖掘属性选择和规则抽取研究[D];天津大学;2004年
10 郭方铭;基于增强学习算法的智能排课模型[D];武汉理工大学;2004年
【二级参考文献】
中国期刊全文数据库 前1条
1 何盈捷,刘惟一;由Markov网到Bayesian网[J];计算机研究与发展;2002年01期
中国硕士学位论文全文数据库 前1条
1 左家莉;基于Markov网络的信息检索模型[D];江西师范大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 侯集体;;基于Ontology的知识检索系统研究[J];情报科学;2009年01期
2 梁洁;冯迎迎;朱明明;李秀波;;浅谈语义网检索模型[J];科技信息;2010年20期
3 曾立;;基于PETRI网的学习型信息检索系统设计[J];现代情报;2006年02期
4 马晓普;梁晶晶;赖国勇;;基于用户兴趣的个性化搜索引擎系统[J];攀枝花学院学报;2009年03期
5 汪清明;陈薇;;基于领域本体的智能检索技术研究[J];郑州轻工业学院学报(自然科学版);2009年03期
6 张红亮;;语音检索系统研究[J];情报探索;2009年08期
7 谭晓冬;超文本检索技术的发展[J];现代图书情报技术;1994年03期
8 侯震宇;信息检索系统中的相关性评价问题[J];现代图书情报技术;2003年02期
9 谢桂芳;;基于RDF的网络学习元数据描述和检索建模[J];信息技术;2006年08期
10 张小芳;;几种常见信息检索模型的分析与评价[J];情报杂志;2008年03期
中国重要会议论文全文数据库 前10条
1 杨小锐;林磊;孙承杰;刘秉权;;基于结构挖掘的论坛检索模型[A];第六届全国信息检索学术会议论文集[C];2010年
2 ;H_∞ Filteing for Discrete-Time Markov Jump Linear Systems[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
3 ;Linear Estimation for Discrete-Time Systems with Markov Jump Delays[A];第二十七届中国控制会议论文集[C];2008年
4 ;Linear-Quadratic Differential Games for Discrete-Time Stochastic Systems with Markov Jumps and Multiplicative Noise[A];中国自动化学会控制理论专业委员会A卷[C];2011年
5 王林鹏;朱进;奚宏生;张政欢;;Markov跳跃系统在制造过程中的决策控制[A];中国自动化学会控制理论专业委员会D卷[C];2011年
6 沈水荣;;建立计算机知识点检索模型探索语义自动识别的相关问题——关于“人民金典”语义自动识别系列产品研发的理论思考[A];中国新闻技术工作者联合会2011年学术年会论文集(上篇)[C];2011年
7 赵秉岩;邓长寿;郭景峰;杨焱林;;基于Markov链的电子商务网站频繁访问路径的发现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
8 ;Optimal Estimate and Intercepting Algorithm for State Estimation of Discrete-Time Markov Jump Linear Systems[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
9 ;The Water Quality Evaluation based on the unascertained Markov Forecast Model[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
10 ;Controllers Design for a Class of Markov Jump Linear Discrete Systems[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
中国重要报纸全文数据库 前10条
1 清华大学计算机系智能技术与系统国家重点实验室 张敏 金奕江;寻“宝”有术[N];计算机世界;2003年
2 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
3 ;相关性统计方法 利于追踪基因网络[N];中国高新技术产业导报;2005年
4 清华大学计算机系智能技术与系统国家重点实验室 张敏 金奕江;“海”中捞“珍”[N];计算机世界;2003年
5 本报记者 刘波;乌克兰“橙色革命”终局之后[N];21世纪经济报道;2005年
6 张兰;治疗乙型肝炎:拉米夫定较经济[N];医药经济报;2001年
7 阿毅编译;联合疗法治丙肝 优势明显[N];医药经济报;2003年
8 张晓军 董文斌;塔顶放大器在CDMA优化中的应用[N];通信产业报;2002年
9 ;治疗成本虽高 临床疗效却好[N];医药经济报;2002年
10 本报驻昆山首席记者 姚喜新;神州图骥做苏州的“阿里巴巴”[N];苏州日报;2010年
中国博士学位论文全文数据库 前10条
1 荣腾中;基于高阶周期Markov链模型的预测方法研究[D];重庆大学;2012年
2 左家莉;信息检索中Markov网络图模型研究[D];江西财经大学;2011年
3 陈圣兵;基于商空间理论的海量信息检索模型的研究[D];安徽大学;2010年
4 苏海军;基于Markov转换动态条件相关分析的危机传染研究[D];华中科技大学;2011年
5 朱怀念;线性Markov切换系统的随机微分博弈理论及在金融保险中的应用研究[D];广东工业大学;2013年
6 唐晓彬;Markov机制转换的状态空间模型及其在我国经济周期分析中的应用研究[D];西南财经大学;2010年
7 张玉成;关于集值映射不变测度的存在性与遍历性[D];吉林大学;2004年
8 王悦;以Engel模式为中心实施自愿戒毒的研究[D];浙江大学;2005年
9 王永庆;基于快速网络的新型存储层次设计与实现[D];国防科学技术大学;2003年
10 胡熠;面向信息检索的文本内容分析[D];上海交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 朱莹婷;基于迁移学习理论的Markov检索模型[D];江西师范大学;2010年
2 闫振海;含单瞬时态的Markov链[D];郑州大学;2010年
3 杨飏;需求概念图导引下的检索模型研究[D];上海交通大学;2013年
4 黎丽荣;基于Markov模型的大型PMS任务可靠性分析方法[D];国防科学技术大学;2011年
5 孟德新;利用Markov Chains研究企业资本运营状况及相关的财务管理决策[D];中国农业大学;2005年
6 田晋坤;基于本体术语关系的SBN检索模型扩展[D];河北大学;2011年
7 刘伟洁;加权Markov随机优化磨光修正模型研究及应用[D];景德镇陶瓷学院;2010年
8 左家莉;基于Markov网络的信息检索模型[D];江西师范大学;2005年
9 张敏;基于Markov链的我国出口商品结构的实证研究[D];山西财经大学;2010年
10 胡琴琴;Markov算子的渐近平稳性[D];山东大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026