收藏本站
《电子科技大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

Web使用挖掘技术的研究与实现

李彬  
【摘要】: 随着Internet的飞速发展,网上的数据资源空前的丰富。每天都会有成千上万的用户在网络上浏览和寻找自己所需的信息。然而,由于庞大的信息量,对于每个用户来说,如何能够及时快速的发现有用信息则变得异常的困难。为了解决上述问题,Web挖掘技术应运而生。其中,面向Web服务器日志的Web使用挖掘技术尤其得到了广大研究人员的关注。Web日志数据记录了用户对Web站点的访问信息,对这些信息进行分析可以发现用户访问站点的浏览模式和访问习惯,对于页面重组,优化网站的结构,以及在电子商务智能的应用等方面都具有十分重要的意义。 本文对Web挖掘与Web使用挖掘进行了系统的分析和研究,并在此基础上,提出了一些新颖有效的技术和方法。论文所做的工作主要是: 1.对数据挖掘和Web使用挖掘的相关知识和技术进行了概述,阐述了Web使用挖掘的意义、研究现状以及面临的问题; 2.讨论了Web使用挖掘的三个阶段:数据预处理、模式发现和模式分析,分析了Web使用挖掘的应用领域和研究方向; 3.第四章对Web使用挖掘的预处理过程进行了研究并分析了现有的一些数据预处理技术,然后一个框架式页面过滤算法被应用到Web日志数据预处理过程中,用于消除子框架页面的影响,提高数据挖掘系统的效率和准确度; 4.在第五章,首先对Web挖掘中已有的聚类技术进行了简单介绍。然后,详细分析了一个典型的基于距离矩阵的聚类算法,发现该算法在可操作性和聚类准确度上存在着一定缺陷。为此,本文提出了一种新的快速聚类算法——基于相对Hamming距离的聚类算法,并通过设计一个简单的Web使用挖掘实验系统,对算法的有效性进行了验证。实验表明,通过该算法能得到更为准确的相似性客户群体和相关页面。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 宋擒豹,沈钧毅;Web日志的高效多能挖掘算法[J];计算机研究与发展;2001年03期
2 周斌,吴泉源,高洪奎;用户访问模式数据挖掘的模型与算法研究[J];计算机研究与发展;1999年07期
3 郭秀娟;数据挖掘方法综述[J];吉林建筑工程学院学报;2004年01期
4 阳小华;Web站点的超链结构挖掘[J];计算机工程与应用;2001年08期
5 李岩,陈新中,杨炳儒;基于Web挖掘的智能门户搜索引擎的研究[J];计算机工程与应用;2002年04期
6 陈宁;周龙骧;;数据采掘在Internet中的应用[J];计算机科学;1999年07期
7 张德;董逸生;;自适应Web站点:挑战与机遇[J];计算机科学;2000年07期
8 高飞;谢维信;;互联网上的数据挖掘[J];计算机科学;2001年05期
9 耿桦;李媛;朱炜;潘金贵;;Web搜索中的数据挖掘技术研究[J];计算机科学;2005年04期
10 陈宝树,党齐民;Web数据挖掘中的数据预处理[J];计算机工程;2002年07期
【共引文献】
中国期刊全文数据库 前10条
1 王熙照,王丽娟,袁方,湛燕;Web用户访问模式挖掘[J];河北大学学报(自然科学版);2002年04期
2 李中;苑津莎;徐小彩;;基于Web日志挖掘的客户访问兴趣分析[J];华北电力大学学报(自然科学版);2009年05期
3 祖巧红,陈定方,胡吉全;分析型客户关系管理系统的研究[J];湖北工业大学学报;2005年03期
4 蔡景蕊;;电子商务网站营销数据分析技术初探[J];环渤海经济瞭望;2008年01期
5 王玉珍;;一种基于Web使用模式挖掘工具的架构[J];华北科技学院学报;2005年04期
6 邓娜;王宇;王秋玲;;数据挖掘库预处理技术在教学中的应用研究[J];河北省科学院学报;2006年02期
7 丁一,孙玉霞;基于Web挖掘的用户个性化服务研究[J];湖北师范学院学报(自然科学版);2005年03期
8 魏秀然;李建芳;刘安民;闾素红;;基于Web的数据挖掘技术及应用[J];华北水利水电学院学报;2009年02期
9 谢坤武;;智能桌面元搜索引擎中个性化研究[J];湖北民族学院学报(自然科学版);2006年04期
10 印国成;孙茂圣;;一种Web文本的自动提取方法[J];江苏科技大学学报(自然科学版);2010年06期
中国重要会议论文全文数据库 前10条
1 代广珍;徐超;;基于Web的数据挖掘研究综述[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 常智荣;马自卫;邓芳;;基于Web日志的数据挖掘技术的研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
3 蔡猷花;张岐山;;Web日志挖掘及其在电子商务领域的应用[A];第10届计算机模拟与信息技术会议论文集[C];2005年
4 王娜娜;谢炜;李烨;;邳州慢性病与生活习惯等因素的关联规则分析[A];中国生物医学工程学会成立30周年纪念大会暨2010中国生物医学工程学会学术大会壁报展示论文[C];2010年
5 石磊;王伟华;武张亮;杨晓泉;;Web挖掘技术在电子商务中的应用[A];信息时代——科技情报研究学术论文集(第三辑)[C];2008年
6 丁瑾;;基于Web数据挖掘的综述[A];山西省科学技术情报学会学术年会论文集[C];2004年
7 雷三丫;刘庆敖;;数据挖掘在数字化图书馆个性化服务中的应用[A];2008年中国高校通信类院系学术研讨会论文集(下册)[C];2009年
8 魏新;廖闻剑;彭艳兵;;基于数据挖掘的校园网络行为分析[A];第十届中国科协年会信息化与社会发展学术讨论会分会场论文集[C];2008年
9 赵秉岩;邓长寿;郭景峰;杨焱林;;基于Markov链的电子商务网站频繁访问路径的发现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
10 黎陨;詹晓红;孙莉;;基于频繁遍历路径的个性化推荐系统[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
【同被引文献】
中国期刊全文数据库 前10条
1 折如义;;高职高专院校教学及管理初探[J];河套大学学报(哲学社会科学版);2006年03期
2 殷贤亮;张为;;Web使用挖掘中的一种改进的会话识别方法[J];华中科技大学学报(自然科学版);2006年07期
3 宋擒豹,沈钧毅;Web日志的高效多能挖掘算法[J];计算机研究与发展;2001年03期
4 王实,高文,李锦涛,谢辉;路径聚类:在Web站点中的知识发现[J];计算机研究与发展;2001年04期
5 周斌,吴泉源,高洪奎;用户访问模式数据挖掘的模型与算法研究[J];计算机研究与发展;1999年07期
6 王艳;;完善教学督导机制 全面提高教学质量[J];职业教育研究;2006年02期
7 李文媛;林克正;;Web日志挖掘研究[J];哈尔滨金融高等专科学校学报;2008年01期
8 宣华,王映雪,陈怀楚;清华大学综合教务系统在教务管理中的应用[J];计算机工程与应用;2002年12期
9 罗可,蔡碧野,卜胜贤,谢中科;数据挖掘及其发展研究[J];计算机工程与应用;2002年14期
10 李勇,徐振宁,张维明;Internet个性化信息服务研究综述[J];计算机工程与应用;2002年19期
【二级参考文献】
中国期刊全文数据库 前10条
1 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期
2 李德毅,孟海军,史雪梅;隶属云和隶属云发生器[J];计算机研究与发展;1995年06期
3 陈新中,李岩,谢永红,杨炳儒;Web挖掘研究[J];计算机工程与应用;2002年13期
4 王实;高文;;数据挖掘中的聚类方法[J];计算机科学;2000年04期
5 林士敏;田凤占;陆玉昌;;贝叶斯学习、贝叶斯网络与数据采掘[J];计算机科学;2000年10期
6 朱炜;王超;李俊;潘金贵;;Web超链分析算法研究[J];计算机科学;2003年09期
7 陆丽娜,杨怡玲,管旭东,魏恒义;Web日志挖掘中的数据预处理的研究[J];计算机工程;2000年04期
8 陈宝树,党齐民;Web数据挖掘中的数据预处理[J];计算机工程;2002年07期
9 恽爽,韩立新,董浚,陈道蓄;KDW综述:基于Web的数据挖掘[J];计算机工程;2003年01期
10 徐宝文,张卫丰;数据挖掘技术在Web预取中的应用研究[J];计算机学报;2001年04期
【相似文献】
中国期刊全文数据库 前10条
1 李晓明;夏秀峰;张斌;;一种具有增量挖掘功能的Web点击流聚类算法[J];沈阳大学学报;2010年03期
2 李彬;汪天飞;刘才铭;张建东;;基于相对Hamming距离的Web聚类算法[J];计算机应用;2011年05期
3 李诗诗;方寿海;;基于Web使用挖掘技术的聚类算法改进[J];计算机工程与设计;2009年22期
4 赵立江;;个性化学习系统的聚类技术[J];计算机辅助工程;2006年03期
5 吴九雄;;Web使用挖掘中数据预处理技术的研究[J];电脑开发与应用;2009年12期
6 蒋腾旭;;混合遗传聚类算法在Web使用挖掘中的应用[J];电脑知识与技术(学术交流);2007年10期
7 张彤;童向兰;;面向企业的Web使用挖掘研究[J];中小企业管理与科技(上旬刊);2008年07期
8 董德民;;面向电子商务的Web使用挖掘及其应用研究[J];中国管理信息化(综合版);2006年10期
9 郭媛香;;面向用户行为的Web使用挖掘技术[J];晋中学院学报;2009年03期
10 曾志聪;姚国祥;;基于Web使用挖掘的个性化系统[J];计算机工程与设计;2006年07期
中国重要会议论文全文数据库 前10条
1 魏昕路;洪志令;姜青山;;一种基于样本缩减策略的新窗口式聚类算法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
2 王守强;朱大铭;史士英;;基于输入点集求解k-Means聚类算法[A];第二十六届中国控制会议论文集[C];2007年
3 李政涛;夏树倩;王大玲;冯时;张一飞;;一种基于语义引力及密度分布的聚类算法[A];第六届全国信息检索学术会议论文集[C];2010年
4 吴继兵;李心科;;基于分治融合的混合属性数据聚类算法研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
5 李世峰;黄磊;刘昌平;;几种聚类方法的比较[A];第八届全国汉字识别学术会议论文集[C];2002年
6 刘洋;江志纲;丁增喜;王大玲;鲍玉斌;于戈;;一种基于图的聚类算法GB-Cluster[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
7 邓敏;刘启亮;李光强;程涛;;一种基于场模型的空间聚类算法[A];现代测量技术与地理信息系统科技创新及产业发展研讨会论文集[C];2009年
8 逯波;王国仁;;一种有效的半监督视频镜头聚类算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
9 刘强;林世平;;基于蚁群聚类算法的中文本体学习[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 余琳;邓玲;;常见聚类算法的比较以及DSS系统中的应用[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 罗海基;新日轻开发出铝型材表面预处理技术[N];中国有色金属报;2003年
2 新文;我已掌握难选冶金矿处理技术[N];地质勘查导报;2006年
3 刘万灵;难选冶金精矿预处理技术比较[N];中国黄金报;2002年
4 李淑贤;废水监测分析预处理技术不可忽视[N];大众科技报;2008年
5 山西医科大学电子显微镜室 张彰;游离细胞透射电镜样品预处理技术[N];山西科技报;2002年
6 新文;我已掌握难选冶金矿处理技术[N];中国国土资源报;2006年
7 苏畅;如何检测环境中的POPs[N];中国环境报;2007年
8 记者 王志田;大庆油田“变焦镜片”创效超4亿元[N];中国石油报;2007年
9 本报记者 李广涛;金矿资源二次开发进入新轨道[N];中国黄金报;2005年
10 廖建国;日本钢铁业开发新技术以应对资源紧张[N];中国冶金报;2005年
中国博士学位论文全文数据库 前10条
1 万淼;基于群智能和随机索引的网络聚类算法研究[D];北京邮电大学;2011年
2 刘位龙;面向不确定性数据的聚类算法研究[D];山东师范大学;2011年
3 管仁初;半监督聚类算法的研究与应用[D];吉林大学;2010年
4 阮备军;Web使用挖掘若干关键问题研究[D];复旦大学;2004年
5 叶镇清;自适应聚类算法挖掘网络模块结构及其在酵母蛋白作用网络中的应用[D];浙江大学;2008年
6 张鸿雁;基于DNA计算的聚类算法研究[D];山东师范大学;2011年
7 孙鹏岗;聚类算法研究及其在网络模块性分析中的应用[D];西安电子科技大学;2011年
8 曹付元;面向分类数据的聚类算法研究[D];山西大学;2010年
9 梅娟;复杂生物网络聚类分析方法[D];江南大学;2010年
10 潘鸿飞;形状特征描述及聚类算法研究[D];安徽大学;2011年
中国硕士学位论文全文数据库 前10条
1 李彬;Web使用挖掘技术的研究与实现[D];电子科技大学;2007年
2 卜德云;自适应谱聚类算法的研究与应用[D];南京航空航天大学;2010年
3 石洪竺;量子进化聚类算法研究[D];西安电子科技大学;2010年
4 温程;并行聚类算法在MapReduce上的实现[D];浙江大学;2011年
5 张珠玉;聚类算法及其在日志数据处理中的应用研究[D];山东师范大学;2011年
6 叶冲轶;高维海量数据联合聚类算法的研究与应用[D];浙江工商大学;2010年
7 姚毓凯;一种有效的自适应网格密度聚类算法研究[D];兰州大学;2011年
8 王帆;基于优化目标可调控的免疫聚类算法的研究[D];太原理工大学;2010年
9 李长进;基于蚁群算法的混合聚类算法研究[D];中国石油大学;2010年
10 武彩丽;基于规范切和分水岭的聚类算法研究[D];西安电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026