收藏本站
《哈尔滨工程大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

数据挖掘中关联分析算法研究

李强  
【摘要】:关联规则挖掘在商业中的广泛应用使得它成为数据挖掘中最活跃的研究方向之一。强相关项目对的挖掘算法是提高数据挖掘效率的有效方法,是解决当前关系数据库挖掘问题的关键途径之一。在传统的基于支持度的关联规则挖掘框架中,数据之间真正的关联可能未被发现,与此同时可能还会产生太多不具有真正相关性的规则。统计关联被越来越多的研究人员所采用,以弥补关联规则的不足。关联分析算法的研究对于提高数据发现、搜索效率,推广数据库在社会各领域的应用等方面具有十分重大的理论价值和实际意义。本文紧密结合课题背景需求,对强关联规则和关联模式的挖掘问题进行了全面系统地探索。主要研究内容组织如下: 首先,为了在关系数据库上进一步减少候选项目对测试的代价,通过第一范式的性质,对Taper算法进行改进,提出了改进的TaperR算法,在挖掘过程中减少候选项目对的数目,从而提高算法的效率。实验结果表明,设计的新算法在进行关系数据库上的强相关项目对挖掘时,具有良好的效果。因此,更适合在实际的关系数据库系统中应用。 其次,设计了一种高效的通过单次扫描数据库获取Top-K项目对的挖掘算法,且不产生任何候选集。查找基于支持度的top-k强关联项目对的问题本质上是计算1-和2-成员项集的问题,利用支持频度获得top-k强关联项目对。新方法利用相关图矩阵存储所有1-和2-成员项集的支持频度。然后,利用相关图矩阵计算所有项目对的相关系数φ,最后提取k个最相关的项目对,实验表明方法行之有效。 第三,为了有效解决关系数据库上的Top-K强相关项目对的挖掘问题,提出了基于阈值估计的Top-K强相关项目对挖掘算法,即利用数据库的结构信息和比较算法,寻求K个具有最大皮尔森关联系数的项目对,实验结果表明,新方法是行之有效的。 第四,基于用户偏好模型提出了一种智能的最小支持度设定系统架构,在用户偏好模型中为指定用户找出了最相似的查询,将它们联合起来获得适当的支持度范围以供用户参考。基于本方法,用于Apriori算法的支持度阈值设定不再全是主观的,而是包括了来自其它用户经验的额外知识。这就提高了用户查询构造过程的效率,获得的规则或挖掘也趋近于用户的要求。此外,为了解决在结构化数据库中查找频繁关联模式对的数据挖掘问题,开发了具有强大剪枝能力的算法。还讨论了新算法对于在一维和多维结构化数据库中发现模式对适用性问题,并评估了新算法的效率。 最后,提出了领域知识驱动的图像关联模式挖掘算法。图像中包含了很多具有诊断意义的关键像素区域(ROI),这些ROI具有自身的属性,ROI之间还存在空间关系,而图像自身还包含属性和描述,这些特点都是传统的关系数据不具有的。在领域知识的指导下,在图像预处理时提取了图像关键像素区域的特征,并对根据这些特征聚类后的类项集进行挖掘关联规则,提出了EXFP-GROWTH算法,该算法过滤掉了对挖掘没有意义的项,从而能够快速地挖掘出与任务相关的关联规则。最后给出了实例结果分析并总结了研究意义。
【学位授予单位】:哈尔滨工程大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP311.13

【引证文献】
中国硕士学位论文全文数据库 前1条
1 王长宾;基于WebGIS的计生药具数据挖掘系统[D];河北师范大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 宋威;高磊;李晋宏;;一种基于闭项集的无冗余关联规则挖掘方法[J];北京交通大学学报;2009年06期
2 李志云;周国祥;张丽萍;;一种挖掘大型数据库的关联规则新算法[J];合肥工业大学学报(自然科学版);2010年02期
3 田志宏;张永铮;张伟哲;李洋;叶建伟;;基于模式挖掘和聚类分析的自适应告警关联[J];计算机研究与发展;2009年08期
4 吴楚坤;吴扬扬;;基于关联规则挖掘的中文网页体裁模式发现[J];计算机工程与科学;2008年12期
5 崔立新,苑森淼,赵春喜;约束性相联规则发现方法及算法[J];计算机学报;2000年02期
6 贺超波;陈启买;;基于粗糙集的关联规则挖掘方法[J];计算机应用;2010年01期
7 雷亮;汪同庆;杨波;;图像关联规则挖掘研究[J];计算机应用研究;2009年06期
8 程舒通;徐从富;;关联规则挖掘技术研究进展[J];计算机应用研究;2009年09期
9 王培培;沈夏炯;王倩;周博;;基于区别度概念格的关联规则的挖掘[J];计算机应用研究;2009年12期
10 宋旭东;杨莉国;刘晓冰;闫晓岚;赵彦军;;基于UML Profile的关联规则挖掘元模型研究[J];计算机应用研究;2010年01期
中国硕士学位论文全文数据库 前1条
1 李强;关系数据库上强相关项目对的挖掘算法研究[D];哈尔滨工程大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 潘洁珠;朱强;郭玉堂;;预警理论方法及其应用研究[J];合肥师范学院学报;2010年03期
2 张俐;;基于ibatis和设计模式的数据持久层的应用[J];安徽大学学报(自然科学版);2010年03期
3 艾安娜;陈勇;吕霞付;王志芳;王杰;谢正祥;;基于Zadeh-X变换的视频图像挖掘[J];半导体光电;2008年05期
4 陶小红;;Web数据挖掘在智能选课系统中的应用研究[J];办公自动化;2010年02期
5 安颖;;基于Apriori算法的兴趣集加权关联规则挖掘[J];北京联合大学学报(自然科学版);2008年04期
6 孙智勇;刘星;;基于关联规则挖掘方法的结构性减税实证研究[J];重庆大学学报(社会科学版);2010年01期
7 刘红梅;;关联规则在学生成绩分析中的应用[J];长江大学学报(自然科学版)理工卷;2008年04期
8 黄华坤;易燕妮;吴晓佳;;基于“一张图”的国土资源档案服务平台研究与实践[J];测绘与空间地理信息;2010年04期
9 徐野;赵海;苏威积;张文波;;油藏预测中的贝叶斯网络融合方法[J];东北大学学报;2005年12期
10 王晓春;李慧;;面向教育的垂直搜索引擎框架及其应用[J];电化教育研究;2011年09期
中国重要会议论文全文数据库 前10条
1 孙卫红;冯毅雄;林东宇;;基于过程挖掘的业务审批流程重组研究[A];第二十九届中国控制会议论文集[C];2010年
2 高翔;王敏;;模糊频繁情节挖掘算法在入侵检测中的应用[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
3 王志芳;刘玉红;熊兴良;王颖;李虹;李章勇;赵志强;谢正祥;;用于挖掘图像灰度/色度信息的灰度/色度统计非线性变换理论[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(上册)[C];2007年
4 黄名选;;基于正负关联规则挖掘的局部反馈查询扩展[A];第六届全国信息检索学术会议论文集[C];2010年
5 吴春旭;陈家耀;刘博文;;一种改进CLOSET算法[A];第十届中国管理科学学术年会论文集[C];2008年
6 王大玲;鲍玉斌;嵇晓;刘斌武;宋宝燕;于戈;;含有既定因果关系的关联规则挖掘[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
7 潘海为;李建中;张炜;;基于像素聚类的脑部医学图像分类[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
8 方芳;李建中;潘海为;;脑部医学图像中的关联规则挖掘[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
9 陈涛;王丽珍;;约束性关联规则的在线生成算法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
10 朱峰;朱玉全;孙蕾;宋余庆;;约束最大频繁项目集挖掘算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 姚志明;基于步态触觉信息的身份识别研究[D];中国科学技术大学;2010年
2 孙卫红;基于知识的网络化制造工艺设计技术及其在机床装备制造中的应用[D];浙江大学;2010年
3 张晓辉;云理论和数据挖掘在水上安全分析中的应用[D];大连海事大学;2011年
4 高雅田;基于MAS的数据挖掘模型自动选择方法研究[D];东北石油大学;2011年
5 孙智勇;我国结构性减税政策的相关问题研究[D];重庆大学;2010年
6 雷亮;互联网环境下图像检索若干问题研究[D];重庆大学;2011年
7 王让;KPI模式下海工装备项目总进度偏差成因与数据挖掘[D];哈尔滨工程大学;2011年
8 杨显飞;数据流集成分类器算法研究[D];哈尔滨工程大学;2011年
9 由育阳;数据流容错挖掘算法研究[D];哈尔滨工程大学;2011年
10 孟振振;气水两相流流量测量新方法研究[D];浙江大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘旭博;基于P2SP原理的视频探测及下载系统[D];大连理工大学;2010年
2 程波波;基于文本的茶学本体学习方法研究[D];安徽农业大学;2010年
3 徐济成;面向农业领域的本体学习建模研究[D];安徽农业大学;2010年
4 孙洋;基于免疫遗传算法和粒子群算法的聚类研究[D];长沙理工大学;2010年
5 刘坤朋;数据挖掘中聚类算法的研究[D];长沙理工大学;2010年
6 冯兴祥;关联规则挖掘在高校招生录取中的应用[D];合肥工业大学;2010年
7 李琼;基于DMAIC流程的百度CRM能力提升研究[D];中国地质大学(北京);2010年
8 张磊;基于高级SQL查询的分布式多维关联规则挖掘算法的研究[D];天津理工大学;2010年
9 杨海南;基于语义词典和局部分析的查询扩展研究[D];武汉理工大学;2010年
10 徐纳;一类大规模TSP问题的遗传算法研究[D];西安电子科技大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 栾绍鹏;朱长青;;基于Ajax的WebGIS开发新模式[J];测绘工程;2006年06期
2 徐卓揆,刘德钦,林宗坚,袁长丰;WebGIS与基于网络的数据挖掘整合应用研究[J];测绘科学;2004年03期
3 贾泽露,刘耀林,张彤;可视化交互空间数据挖掘技术的探讨[J];测绘科学;2004年05期
4 毛克彪,覃志豪,陈晓燕,李昕;基于Web GIS的电子商务数据挖掘研究[J];测绘学院学报;2003年03期
5 张晓军,孟祥武;预测模型标记语言应用分析[J];计算机工程与应用;2003年10期
6 刘君强,王勋,孙晓莹;智能型数据挖掘工具的设计与实现[J];计算机工程与应用;2003年17期
7 汪加才,江效尧;一个开放数据挖掘系统的分析与设计[J];计算机工程与应用;2004年24期
8 任永功;于戈;;数据可视化技术的研究与进展[J];计算机科学;2004年12期
9 周戈;王蔚韬;何光辉;;基于数据挖掘的GIS在车辆自动导航系统中的应用[J];计算机科学;2005年06期
10 程苗;;基于云计算的Web数据挖掘[J];计算机科学;2011年S1期
中国博士学位论文全文数据库 前1条
1 傅明;基于Web的空间数据挖掘研究[D];中南大学;2004年
中国硕士学位论文全文数据库 前3条
1 刘天垒;基于Web的农业数据挖掘系统的研究与实现[D];中国农业科学院;2011年
2 许纯;PMML研究与数据挖掘系统平台设计[D];重庆大学;2005年
3 周怡;基于GIS的实有人口数据挖掘与可视化分析研究[D];华东师范大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 刘小生;任海峰;陈棉;;用空间分析方法进行空间关联规则提取[J];测绘通报;2007年05期
2 许士国,党连文,牟志录;嫩江1998年特大洪水环境影响分析[J];大连理工大学学报;2003年01期
3 侯雪波,田斌,葛少云,路志英;关联规则技术在电力市场营销分析中的应用[J];电力系统及其自动化学报;2005年02期
4 彭广川,李颖;数据挖掘的常用分析方法与算法研究[J];电脑知识与技术;2005年29期
5 王磊,潘进,焦李成;免疫算法[J];电子学报;2000年07期
6 焦李成,杜海峰;人工免疫系统进展与展望[J];电子学报;2003年10期
7 董晓梅,于戈,孙晶茹,王丽娜;基于频繁模式挖掘的报警关联与分析算法[J];电子学报;2005年08期
8 刘芳,孙杨军;基于多克隆选择的多维关联规则挖掘算法[J];复旦学报(自然科学版);2004年05期
9 姚靠华;蒋艳辉;;基于决策树的财务预警[J];系统工程;2005年10期
10 胡华平,张怡,陈海涛,宣蕾,孙鹏;面向大规模网络的入侵检测与预警系统研究[J];国防科技大学学报;2003年01期
中国博士学位论文全文数据库 前1条
1 高飞;关联规则挖掘算法研究[D];西安电子科技大学;2001年
【相似文献】
中国期刊全文数据库 前10条
1 阮璐;肖冬荣;周杰;高风;;利用组合支持度进行关联规则的挖掘[J];微计算机信息;2008年09期
2 汪洪涛,刘文才;数据挖掘技术关联规划算法在营销策略中的应用[J];工业控制计算机;2003年09期
3 鲍静;;关联规则在图书馆个性化服务中的应用[J];科教文汇(中旬刊);2007年09期
4 黄建设;;一种改进的关联规则算法探讨[J];计算机仿真;2005年12期
5 肖冬荣;杨磊;;基于遗传算法的关联规则数据挖掘[J];通信技术;2010年01期
6 方忠祥;屠航;;基于关联规则的服装销售演示系统设计[J];广西轻工业;2007年05期
7 王宏雁;王琪;;多层多维关联规则在交通事故研究中的应用[J];交通科学与工程;2009年01期
8 周宇;叶庆卫;;基于SQL查询语言的关联规则提取算法研究与实现[J];科技信息(科学教研);2007年35期
9 陈爱萍;;关联规则增量算法[J];电脑知识与技术;2005年36期
10 朱亦斌,马亮;数据挖掘关联规则算法探讨[J];教育信息化;2000年03期
中国重要会议论文全文数据库 前10条
1 王娜娜;谢炜;李烨;;邳州慢性病与生活习惯等因素的关联规则分析[A];中国生物医学工程学会成立30周年纪念大会暨2010中国生物医学工程学会学术大会壁报展示论文[C];2010年
2 王寅北;夏庆;孙志挥;;FSETM:一种面向集合关联规则的数据挖掘新算法[A];第十五届全国数据库学术会议论文集[C];1998年
3 邱勇;兰永杰;刘晓华;;高效FP-TREE创建算法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
4 郭道宁;舒华英;;数据挖掘在电信运营市场决策支持中的应用[A];中国通信发展与经营管理学术研讨会论文集[C];2003年
5 李存荣;张开敏;杨明忠;;关联知识规则在产品质量控制中的应用[A];第二届全国信息获取与处理学术会议论文集[C];2004年
6 付忠广;田志友;靳涛;戈志华;卞双;;关联规则数据挖掘及其在电厂DCS数据分析中的应用[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
7 王翠茹;王少华;;关联规则经典算法的一种改进[A];中国通信学会第五届学术年会论文集[C];2008年
8 杨子良;陶宏才;;一种基于向量运算的频繁项集快速挖掘算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
9 王一飞;章勇;;基于条件模式的最大频繁项目集挖掘算法[A];全国自动化新技术学术交流会会议论文集(一)[C];2005年
10 程转流;胡为成;胡学钢;;基于DSFCI-tree的分布式数据流频繁闭合模式挖掘[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 潘总机;数据挖掘:洞察客户需求[N];人民邮电;2005年
中国博士学位论文全文数据库 前10条
1 姜保庆;关于弱比例规则的挖掘及推理研究[D];西南交通大学;2005年
2 王曙燕;医学图像智能分类算法研究[D];西北大学;2006年
3 佘春东;数据挖掘算法分析及其并行模式研究[D];电子科技大学;2004年
4 李强;数据挖掘中关联分析算法研究[D];哈尔滨工程大学;2010年
5 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
6 许兆新;基于元知识的数据挖掘系统研究[D];哈尔滨工程大学;2003年
7 李实;中文网络客户评论中的产品特征挖掘方法研究[D];哈尔滨工业大学;2009年
8 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
9 翟坤;基于数据挖掘的成本管理方法研究[D];大连理工大学;2012年
10 牛成林;增量数据挖掘及其在电站运行优化中的理论研究及应用[D];华北电力大学(北京);2010年
中国硕士学位论文全文数据库 前10条
1 刘玉锋;数据挖掘中关联规则算法的研究与应用[D];长春理工大学;2010年
2 王景;基于关联规则数据挖掘的研究[D];广西大学;2003年
3 蒋秀英;数据挖掘中的关联规则算法优化研究及应用[D];山东师范大学;2003年
4 耿晓中;超市管理系统及数据挖掘技术在其上的应用[D];吉林大学;2004年
5 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年
6 叶小旺;面向社区服务的数据挖掘关键技术研究与实现[D];西安电子科技大学;2009年
7 孙彤;活性炭纤维吸附和解吸中的数据挖掘技术[D];辽宁工程技术大学;2004年
8 杨少博;数据挖掘在学校管理和学生培养中的应用[D];安徽大学;2011年
9 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
10 万少飞;基于社保的数据关联处理方法[D];广东工业大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026