收藏本站
《南京航空航天大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据挖掘的Web信息检索研究

徐敏  
【摘要】: Internet使人们获取信息更加方便和快捷,但是由于网上的信息浩如烟海,并且不断快速增长,而其中绝大多数对用户来说是无关的,所以如何在网络中找到自己所需的信息成了一个重要问题。搜索引擎是在一定程度上帮助人们解决这个问题,但是它并不能完全满足用户的需求。本文即是在此背景下,针对目前搜索引擎模型分析,提出一种新的搜索引擎模型,同时利用数据挖掘方法来解决网络上某些信息检索问题,内容主要涉及到如何构造合理的搜索引擎模型,如何有效的组织网络资源,如何发现网络中蕴涵的资源和如何对已经得到的数据进行维护等。本文的创造性研究成果主要有: (1)在分析目前搜索引擎模型的基础上,从模型的结构角度提出一种新的搜索引擎模型(混合模型),它能快速、准确地发现用户所需的信息,并分析实现该模型所需要的关键技术。 (2)根据Fisher判别方法的思想提出了一种有效的有监督层次文档分类算法(HDCF),该算法主要将文档按照主题进行层次分类,利用Fisher线性判别式的思想来提取每一类的正特征词和负特征词,然后根据这些特征词对给定文档进行分类。该算法不仅克服一般层次分类算法中假定特征词之间必须满足独立性的条件,而且能处理一个文档涉及多个类的分类问题。在实验中,采用召全率和准确率2个指标与其它算法进行比较,实验结果表明:HDCF的效果好于其它算法。 (3)为了满足在线学习文档分类需要,本文根据自适应谐振理论提出了半监督学习自适应谐振理论系统。在该系统中取消了一般半监督学习算法中假定已知数据概率分布的条件限制,利用自适应谐振理论的稳定性和可塑性,使其具有非常强的学习新模式和纠正错误能力。为了提高系统自适应性能力,将警戒参数设置为动态变化。实验结果表明半监督学习自适应谐振理论系统的性能优于判别式CEM算法,特别是在含有噪音和新模式数据情况下,其优势更为明显。 (4)针对已有的周期性关联规则模型的局限性,提出一种新的周期性关联规则模型。此模型通过聚类分析可以将一个周期分成若干个长度不等的时间段,并给出该算法,实验结果表明这样可以更准确地发现周期性关联规则。同时,因为数据的稀疏性,在底层或原始的数据之间很难找到满足用户需求的周期性关联规则,而有很多数据是分层,在较高层次上可以发现的周期性关联规则,所以,又提出周期性一般关联规则算法(CGI)。由于周期性一般关联规则对数据噪声非常敏感,用噪声比来抑制数据噪声对发现周期性一般关联规则的影响。同时根据对周期性与一般频繁项集之间关系的分析,利用周期裁剪技术来节省挖掘时间。本文中给出了CGI算法,同时还对发现规则的有意义性和冗余性进行判断和处理。实验证明,该算法可高效地发现周期性一般关联规则。 (5)关联规则是要从大量的数据中找到数据之间的规律,但有时所产生的规律十分繁多,从而形成新的知识管理问题。针对该问题本文提出了一个新的算法,该算法利用系统聚类分析方法对规则进行分组,从而更好地帮助用户理解所发现的规律,由于该方法的距离(RatioD)是基于关联规则本身,因此,可对规则进行高效地分组。实验结果表明,该算法是有效的。 (6)对于维护已发现的序列模式方法主要有两种,一种是简单地利用已有的挖掘序列模式算法对更新后的整个数据库进行操作,这种方法涉及数据库中的数据不仅有改变的部分而且有未改变的部分,而未改变的数据数量很大,当更新频率高时,代价是非常大的;另一种方法是根据库中记录数目改变多少来决定何时对整个数据库进行操作,但是记录数目变化大并不能代表序列模式变化也大,因此本文利用样品抽样的方法来评估序列模式改变的程度,并根据改变的程度决定何时对整个数据库进行操作来更新序列模式,从而较好地解决了序列模式维护的问题。
【学位授予单位】:南京航空航天大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP391.3

手机知网App
【引证文献】
中国期刊全文数据库 前3条
1 董慧;唐敏;;数据挖掘及其在网络信息检索中的应用[J];情报杂志;2010年S1期
2 陈维;阮海红;;网络环境下的信息检索与数据挖掘技术[J];现代情报;2009年05期
3 周鸿;朱东华;董萍萍;;聚类搜索引擎研究进展综述[J];计算机系统应用;2012年05期
中国博士学位论文全文数据库 前1条
1 刘波;XML数据智能管理若干关键技术研究[D];中南大学;2008年
中国硕士学位论文全文数据库 前5条
1 卢虹宇;Web结构挖掘中HITS算法的研究[D];西南交通大学;2008年
2 郭坤银;基于页面分块和链接分析的Web图片检索研究[D];重庆大学;2009年
3 王璟琦;基于内容单元的网页解析与内容提取[D];哈尔滨工业大学;2008年
4 陈超;基于词语共现的BBS垃圾信息过滤模型[D];哈尔滨工业大学;2009年
5 宋春光;数据挖掘模型在油田通信经营分析系统中的应用[D];吉林大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 储慧琴;郑玉国;徐海燕;;广义非中心拟F-分布[J];安徽工程科技学院学报(自然科学版);2008年01期
2 储慧琴;夏登峰;;EVS椭球等高矩阵分布中的正态性刻划[J];安徽工程大学学报;2012年01期
3 张作仿;小麦品种联合试验中试点代表性与联试效果[J];安徽农业科学;1984年04期
4 张泽生,苏泽胜,张效忠;安徽籼稻地方品种资源的聚类分析[J];安徽农业科学;1990年02期
5 程福如,郑曙峰,张军,许新华,王跃群;棉铃虫发生期和发生量预报技术研究[J];安徽农业科学;2000年04期
6 赵东娟;齐伟;杨芬;;主成分聚类分析在县域生态经济分区中的应用——以东营市河口区为例[J];安徽农业科学;2007年06期
7 赵丽;付梅臣;严学仕;曹银贵;;河北永清县土地利用功能分区研究[J];安徽农业科学;2008年04期
8 张健东;马龙;陈刚;潘传豪;汤保贵;周晖;黄建盛;王忠良;;不同地理群体多鳞鱚的形态差异分析[J];安徽农业科学;2010年11期
9 王光荀;冯元;王晓溪;龙秀琴;;露珠杜鹃容器苗苗木分级标准初探[J];安徽农业科学;2010年36期
10 安丽;朱永安;王玉新;郑玉珍;董学飒;刘羽清;;大鳞副泥鳅雌雄个体的形态特征比较[J];安徽农业科学;2011年01期
中国重要会议论文全文数据库 前10条
1 冯艳;于立平;邵玮;乔俊峰;唐燕;;转变经济发展方式对北京经济影响的测度[A];科学发展:社会管理与社会和谐——2011学术前沿论丛(下)[C];2011年
2 胡清华;常军涛;鲍文;于达仁;;高超声速发动机进气道起动/不起动模式分析[A];第二十九届中国控制会议论文集[C];2010年
3 毛存礼;余正涛;线岩团;郭剑毅;雷雄丽;;基于短信的旅游景点酒店问答系统研究[A];中国自动化学会控制理论专业委员会A卷[C];2011年
4 马骥;朱慕华;肖桐;朱靖波;;面向移进-归约句法分析器的单模型系统融合算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 赵玲玲;周水生;王雪岩;;基于集成算法的半监督学习[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年
6 刘欣;章勇;王娟;;增量学习的TFIDF_NB协同训练分类算法[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
7 张佳川;;节理岩体按结构面性质分区的聚类分析与模糊综合评判[A];全国第三次工程地质大会论文选集(下卷)[C];1988年
8 陈其楼;潘正华;;谓词逻辑中有关函数及其部分性质的形式描述[A];逻辑学及其应用研究——第四届全国逻辑系统、智能科学与信息科学学术会议论文集[C];2008年
9 孙伶俐;薛军蓉;李垠;;因子分析方法对九江5.7级地震前地震活动异常的研究[A];新世纪观测技术发展及防震减灾青年学术研讨会论文集[C];2007年
10 蔡雷;;系统评价中的可加性评价函数及其判别[A];中国工程物理研究院第七届电子技术青年学术交流会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 赵琪;我国国有企业人力资源优化配置研究[D];哈尔滨工程大学;2010年
2 马勇;欧盟科技一体化研究[D];华东师范大学;2011年
3 尤著宏;基于图和复杂网络理论的蛋白质相互作用数据分析与应用研究[D];中国科学技术大学;2010年
4 李培英;新疆草坪用野生偃麦草种质资源评价[D];新疆农业大学;2010年
5 李彤岩;基于数据挖掘的通信网告警相关性分析研究[D];电子科技大学;2010年
6 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
7 沈炎峰;多变量数据遗传分析方法的研究[D];浙江大学;2010年
8 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
9 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年
10 侯锋;中文报业出版的文字质量智能辅助控制技术研究[D];国防科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
2 史文财;省级政务网安全检测系统的设计与实现[D];哈尔滨工程大学;2010年
3 王翼;Gamma分布函数的研究[D];大连理工大学;2010年
4 蒋延生;基于图的适应性相似度估算的半监督学习[D];大连理工大学;2010年
5 孔健;基于半监督学习的社团划分算法研究[D];辽宁师范大学;2010年
6 卢加磊;半监督学习中协同训练与多视图方法的比较及改进[D];中国海洋大学;2010年
7 朱莹婷;基于迁移学习理论的Markov检索模型[D];江西师范大学;2010年
8 冯兴祥;关联规则挖掘在高校招生录取中的应用[D];合肥工业大学;2010年
9 张庆久;近邻法与多视角学习的理论与算法研究[D];华东师范大学;2011年
10 张丽珍;基于中介逻辑的模糊信息处理的研究[D];江南大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 陈伟,丁秋林;一种XML相似重复数据的清理方法研究[J];北京航空航天大学学报;2004年09期
2 许云,樊孝忠,张锋;基于知网的语义相关度计算[J];北京理工大学学报;2005年05期
3 宋伟,王举成,马根峰,赵济林;Internet数据挖掘原理及实现[J];重庆邮电学院学报(自然科学版);2001年02期
4 曲卫华;王群;;搜索引擎原理介绍与分析[J];电脑知识与技术;2006年35期
5 黄志澄;给数据以形象 给信息以智能 数据可视化技术及其应用展望[J];电子展望与决策;1999年06期
6 周殊;潘炜;罗斌;张伟利;丁莹;;一种基于粒子群优化方法的改进量子遗传算法及应用[J];电子学报;2006年05期
7 仲婷;金浩;冯茜芦;潘金贵;;一种基于结构分析的改进HITS算法[J];广西师范大学学报(自然科学版);2007年02期
8 张秀俊;刘佐达;陈茂科;李星;;BBS实时采集策略的研究[J];广西师范大学学报(自然科学版);2009年01期
9 牛洪波;丁华福;;基于文本分类技术的信息过滤方法的研究[J];信息技术;2007年12期
10 王奇,宋国新,邵志清;信息检索中基于链接的网页排序算法[J];华东理工大学学报;2000年05期
中国重要会议论文全文数据库 前1条
1 韩先培;刘康;赵军;;基于布局特征与语言特征的网页主要内容块发现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 许建潮;Web挖掘中若干问题的研究[D];吉林大学;2005年
2 郭志懋;XML数据的查询、转换和集成[D];复旦大学;2005年
3 钟将;基于人工免疫的入侵分析技术研究[D];重庆大学;2005年
4 秦杰;Web环境中半结构化数据存储与查询技术研究[D];国防科学技术大学;2005年
5 张晓琳;面向对象的XML数据管理技术研究[D];东北大学;2006年
6 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
7 刘悦;WWW上链接分析算法的若干研究[D];中国科学院研究生院(计算技术研究所);2004年
8 程勇;基于本体的不确定性知识管理研究[D];中国科学院研究生院(计算技术研究所);2005年
9 刘学军;数据流聚集查询和频繁模式挖掘的研究[D];东南大学;2006年
10 燕忠;基于蚁群优化算法的若干问题的研究[D];东南大学;2005年
中国硕士学位论文全文数据库 前5条
1 张巍;基于PageRank算法的搜索引擎优化策略研究[D];四川大学;2005年
2 江裕民;基于超链接的WEB结构挖掘算法的研究[D];西安电子科技大学;2006年
3 潘照明;智能中文搜索引擎若干关键技术的研究与实现[D];浙江大学;2006年
4 熊蜀光;图模型XML数据上查询处理方法的研究[D];哈尔滨工业大学;2006年
5 夏斌;Web结构挖掘中HITS算法的优化与实现[D];河南大学;2007年
【二级引证文献】
中国期刊全文数据库 前8条
1 康皓;田秋艳;田巍;;网络环境下信息检索服务的需求特点及智能检索服务的相关技术分析[J];硅谷;2011年15期
2 宋亭燕;董鸿晔;;网络环境下药学信息服务模式研究[J];黑龙江医药;2011年01期
3 梁娟;陈智;;一种基于XML的Web内容挖掘预处理方法[J];计算机时代;2011年06期
4 李学国;钱能;冯刚;蔡冬玲;;基于HITS算法对Web数据挖掘技术改进研究[J];制造业自动化;2011年06期
5 廖小琴;刘虹;孙建军;;链接网络与核心节点评价指标研究综述[J];情报杂志;2012年05期
6 李莹;吴晓军;;基于最大流及页面相似度的Web结构挖掘[J];计算机技术与发展;2011年10期
7 王菊;;网络信息检索系统的设计与技术分析[J];网友世界;2012年04期
8 杨丽;;网络信息检索中数据挖掘的应用[J];信息系统工程;2012年11期
中国博士学位论文全文数据库 前1条
1 孟宪军;互联网文本聚类与检索技术研究[D];哈尔滨工业大学;2009年
中国硕士学位论文全文数据库 前9条
1 范春晓;基于XML的Web信息抽取技术研究[D];沈阳理工大学;2010年
2 李莹;基于最大流与页面相似度值的Web结构挖掘研究[D];陕西师范大学;2011年
3 由欣;基于有向图构造的数据流预测算法的研究[D];哈尔滨工程大学;2011年
4 苏希乐;面向手机信息的垂直搜索引擎[D];西安工业大学;2012年
5 徐海;基于Lucene垂直搜索引擎的研究与实现[D];西安科技大学;2009年
6 杨宇;搜索词的意图分析与应用[D];北京邮电大学;2010年
7 刘红莲;基于链接分析的搜索引擎排序算法研究[D];四川师范大学;2010年
8 陈浩;面向校园网的搜索引擎的设计与实现[D];北京邮电大学;2010年
9 张振宇;服务器振动性能仿真支撑系统研究与开发[D];电子科技大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 ;关键词搜索[J];每周电脑报;2000年38期
2 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期
3 许斗;从Google看新一代搜索引擎的发展趋向[J];芜湖职业技术学院学报;2001年01期
4 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期
5 邹小筑;搜索引擎的选择与使用技巧[J];图书馆学研究;2002年05期
6 林燕;Google搜索引擎的搜索功能与使用技巧[J];河北科技图苑;2003年05期
7 林中;GOOGLE搜索引擎的关键词检索[J];中国信息导报;2003年03期
8 封剑待封喉;吸星大法“搜”天下 笑傲网络任我行——搜索引擎绝对专题[J];网络与信息;2003年07期
9 闫凡蕾;建设站内搜索的好帮手——Search Engine Maker[J];少年电世界;2003年08期
10 凤元杰,刘正春,王坚毅;搜索引擎主要性能评价指标体系研究[J];情报学报;2004年01期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 徐敏;基于数据挖掘的Web信息检索研究[D];南京航空航天大学;2006年
2 孔怡青;半监督学习及其应用研究[D];江南大学;2009年
3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
5 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
6 王娇;多视图的半监督学习研究[D];北京交通大学;2010年
7 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
8 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
9 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
10 兰远东;基于图的半监督学习理论、算法及应用研究[D];华南理工大学;2012年
中国硕士学位论文全文数据库 前10条
1 陈翟翟;图像搜索引擎[D];华中科技大学;2008年
2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
5 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
6 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
7 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
8 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
9 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
10 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026