收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向智能信息检索的Web挖掘关键技术研究

袁方  
【摘要】:WWW自从1991年问世以来得到了非常迅速的发展,为人们获取各种信息提供了方便。随着Internet技术的不断发展和完善,WWW将会逐步成为人们获取信息的一个重要渠道。如果说,在信息量相对较少的时候,Internet为人们获取信息提供了方便的话,随着Internet上信息量的急剧增加,人们却感觉到查找所需要的信息越来越困难了,其原因就在于传统的信息检索方式已越来越不适应网上的海量信息,人们希望有更加智能化的信息检索方式出现,以应对海量信息的检索。 本文对面向智能信息检索的Web挖掘的若干关键技术进行研究,重点研究了数据预处理、Web页面分类/聚类及Web用户分类/聚类、概念检索、个性化服务等问题,提出或改进了一些应用于智能信息检索的Web挖掘算法,应用研究成果实现了一个小型智能化信息检索的系统原型。 数据预处理包括基于PDF文件的信息抽取、中文文本分词和Web日志预处理。对于PDF文件信息抽取,提出了基于格式注入的规则抽取和基于树模型的信息抽取算法,在人工标注指导下学习信息抽取规则,取得了较高的信息抽取准确率。对于中文文本分词,提出了基于固定词典和统计相结合的渐进式丰富词典的中文文本分词方法,较好地解决了新词识别问题,相对于单纯的词典方法或统计方法,具有更好的分词效果。Web日志预处理包括数据清洗、用户识别、会话识别和路径补充等工作,在分析已有工作的基础上,重点讨论了路径补充问题并提出了新的路径补充算法,使Web日志预处理工作更加完善。 在中文页面分类研究中,讨论了用于文本分类的各种方法,重点讨论了对文本分类具有较高分类准确率的k-近邻方法。针对k-近邻方法分类效率不高的问题,提出了基于密度的训练样本集约减、渐进式分类等算法。通过计算训练样本集中各类别的类别密度及整个训练集的平均密度,去掉高密度类别中的部分样本;渐进式分类模式模拟人工分类文本的智能化形式,分为按标题分类、按关键段落分类和按全文分类三个层次,尽量减少分析全文的比例。实验表明,这两个方面的改进,不仅提高了k-近邻方法的分类效率,而且对其分类准确率也有一定程度的提高,这说明训练样本集的约减使其具有更好的代表性,渐进式文本分


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 宋艳;刘少华;;Web挖掘在电子商务中的应用[J];电脑知识与技术;2008年14期
2 吴林旭;姚跃华;黄晶;;基于蚁群优化在Web数据挖掘分类模型的实现[J];计算机工程与科学;2009年03期
3 陈伟;;Web挖掘在电子商务中的应用研究[J];商场现代化;2009年02期
4 杨风雷;阎保平;;Web用户行为模式挖掘研究[J];微电子学与计算机;2008年11期
5 姜涌;吕冰;;Web挖掘技术在电子商务的应用[J];计算机与数字工程;2008年04期
6 张辉;;基于本体的语义Web挖掘技术研究[J];电脑开发与应用;2009年02期
7 蔺世杰;李明杰;;基于Web挖掘的个性化信息服务系统的设计[J];常熟理工学院学报;2006年06期
8 赵元媛;;Web挖掘与个性化服务研究[J];商场现代化;2007年17期
9 靳明霞;李玉华;管建军;;序列模式挖掘在电子商务个性化服务中的应用[J];计算机技术与发展;2006年10期
10 黄镇圣;;基于Web浏览的高校图书馆用户个性化研究[J];科技信息;2009年12期
11 张沛露;王建军;;Web挖掘技术在高校数字图书馆个性化服务中的应用[J];吉林建筑工程学院学报;2010年03期
12 柳珺;;Web挖掘技术与电子商务[J];商场现代化;2007年09期
13 赵志坤;李义杰;;基于粗糙集的分类规则挖掘的研究[J];矿业研究与开发;2006年02期
14 王艳;张帆;杨炳儒;;基于Web挖掘的数字图书馆个性化技术研究[J];情报杂志;2007年01期
15 任大鹏;熊小洪;黄传达;;电子商务中的个性化Web挖掘[J];商场现代化;2007年26期
16 何典;;电子商务的Web个性化服务和Web挖掘研究[J];福建电脑;2008年05期
17 林苗;张广泉;;Web挖掘在Web交易中的应用[J];重庆师范大学学报(自然科学版);2007年03期
18 徐妙君;;基于粗集神经网络的分类方法[J];计算机系统应用;2009年04期
19 焦亚丽;;企业电子商务与Web日志挖掘系统[J];现代经济信息;2009年06期
20 刘芳;林拉;;旅游电子商务系统中个性化信息服务功能的设计研究[J];电脑知识与技术;2009年22期
中国重要会议论文全文数据库 前10条
1 谭立云;凯丽比努尔;塔西甫拉提;高学东;热合木江;;数据挖掘中的数据预处理方法研究[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年
2 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年
3 楚红涛;寒枫;张燕;王婷;;基于数据流的挖掘研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 于健;陈子军;李霞;李炜;;一种新的多密度聚类算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
5 张荣祖;朱扬勇;;一个可视化数据挖掘系统中的数据预处理技术[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
6 潘玉奇;石冰;周劲;袁宁;;基于多维数据模型的聚类分析的研究[A];山东省计算机学会2005年信息技术与信息化研讨会论文集(一)[C];2005年
7 田小丽;郑康锋;钮心忻;;一种基于改进K-Medoids算法的网络攻击检测技术[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
8 丁瑾;;基于Web数据挖掘的综述[A];山西省科学技术情报学会学术年会论文集[C];2004年
9 许小林;唐文忠;;基于贝叶斯算法的垃圾邮件检测中数据预处理技术的研究[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(上册)[C];2006年
10 王静;汪晓刚;;一种新的保护原始数据隐私性的聚类算法[A];第十届中国科协年会论文集(三)[C];2008年
中国博士学位论文全文数据库 前10条
1 袁方;面向智能信息检索的Web挖掘关键技术研究[D];东北大学;2006年
2 杨小兵;聚类分析中若干关键技术的研究[D];浙江大学;2005年
3 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
4 张瑀;基于实验数据挖掘与细胞自动机的结构分析方法[D];哈尔滨工业大学;2010年
5 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
6 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
8 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
9 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
10 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 鄢文晋;蚁群算法及其在数据挖掘中的应用[D];重庆大学;2007年
2 潘延军;基于用户浏览内容的Web用户浏览行为个性化研究[D];天津大学;2005年
3 吕毅;基于Web挖掘的Portal个性化服务模型的研究及实现[D];西北大学;2007年
4 郭鹏;基于Web数据挖掘分类算法的个性化信息服务[D];太原理工大学;2003年
5 王春贺;个性化推荐技术研究及其在数字图书馆中应用[D];浙江大学;2007年
6 张承明;基于Web的数据挖掘研究[D];山东科技大学;2003年
7 蒲秋梅;基于XML的Web数据挖掘技术的研究[D];武汉大学;2004年
8 陈敏;基于Web使用挖掘的知识发现研究[D];合肥工业大学;2005年
9 唐艺军;基于蚁群算法的数据挖掘应用研究[D];辽宁工程技术大学;2007年
10 李雪倩;Web使用记录挖掘在数字图书馆个性化服务中的应用研究[D];黑龙江大学;2008年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 张立明;数据挖掘之道[N];网络世界;2003年
4 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
5 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978