收藏本站
《解放军信息工程大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

面向海量信息处理领域的数据网格及其关键技术研究

刘瑰  
【摘要】:随着信息技术的不断发展,越来越多的信息在丰富人们的思想、扩大人们视野的同时,也为计算机进行海量信息处理带来了众多难题,其主要表现在以下几个方面:存在着大量的、异构的数据源,而且格式各异;同时这些信息又缺乏一个统一的规范化的描述方法;再者由于信息的更新速度非常快,因此还需要解决数据修改和同步的问题;此外还需要解决信息的易用性问题。 本文针对以上海量信息处理过程中出现的困难和问题,提出了面向海量信息处理的数据网格MIPDG(Data Grid for Mass Information Process)。作为一种新型的数据管理和利用的体系架构,MIPDG提出了一种新的海量信息处理中心的数据网格建设模式,并通过为多种数据格式提供标准化的描述方式,以实现相关数据的自动关联、自动映射;通过对各类数据源提供副本创建策略、副本一致性算法和数据传输算法等,有效地解决信息资源的一致性共享问题,实现高速可靠的数据访问;通过对海量信息处理业务提供平台级和应用级的访问支持,从而极大地降低海量信息处理应用开发和使用的复杂性,为最终实现信息的全面共享和综合利用提供了一个高性能、大容量、广域覆盖的数据共享平台。 本文以高性能、易用性和可扩展性为依据,对面向海量信息处理的数据网格的体系结构及若干关键技术做了详细研究和探讨,主要工作和贡献如下: 1)结合海量信息处理需求的特点,设计了若干个由高速网络互联形成的分布式海量信息处理中心节点,建立了数据中心的数据网格建设模式,实现了对多数据源的稳定可靠访问,克服了由于数据源本身在存储容量、网络带宽以及可用性等方面差异所导致的访问瓶颈问题,为海量信息处理应用可扩展、可维护、易用性等目标提供了保障。 2)基于面向对象的设计方法,给出了一种层次型的海量信息处理元数据结构定义,实现了灵活的数据映射机制。并根据这种元数据目录管理的方式,设计了一种基于服务的数据映射五层模型,实现了对海量数据透明、可扩展和开放的映射管理,为不同存储方式、不同格式类型的多种数据源提供了统一便捷的数据访问模式。 3)根据海量信息处理业务流程的特点,给出了DRFT数据传输策略,建立了一种无监督的数据传输调度模型,提出了三种数据传输作业调度策略,并进一步对最优适合策略进行优化,优化算法不仅能够充分利用有效的传输带宽,而且还具有比较稳定的传输速率。 4)针对副本管理机制的研究,提出了基于聚类的动态副本创建策略、基于活跃度的多阶段副本一致性算法。这两种算法克服了由于网络带宽有限、地理位置分散所带来的数据访问效率低等困难,有效地减少了平均作业执行时间,提高了网格资源的利用率以及网格环境的性能和可扩展性,并保证网格系统的正确运行。 研究成果已在实验环境中得到测试,不仅验证了整个网格系统的可行性,还验证了对于一个具备论文提出的各项策略的网格系统,其数据访问性能能够得到明显的改善,为论文提出的各种技术的推广应用提供了有益的参考。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 亓雪冬;李霞;梁鸿;邢常振;仝兆岐;;一种新型的数据网格动态副本策略(英文)[J];北京交通大学学报;2008年06期
2 张瑞藜;王夙娟;;基于访问频率的网格副本创建策略[J];计算机时代;2011年06期
3 李静;;远程教育中资源副本创建时机决策机制[J];计算机工程与应用;2009年05期
4 李静;田东;;一种动态数据网格副本创建策略设计与仿真[J];系统仿真学报;2008年18期
5 亓雪冬;仝兆岐;何潮观;;快速瀑布模型动态副本创建策略研究[J];系统仿真学报;2008年15期
6 李静;;一种基于预测的网格数据副本选择算法[J];计算机应用;2008年09期
7 高改梅;白尚旺;;数据网格中副本创建策略研究与仿真[J];计算机与数字工程;2007年03期
8 马永征,南凯,阎保平;数据网格资源信息目录体系的设计与实现[J];计算机工程;2004年21期
9 黄斌,李春江,肖侬,刘波,付伟;基于Cluster的数据网格请求代理服务器设计[J];计算机应用研究;2004年09期
10 马如悦;刘立坤;武永卫;;CCGrid2005论文点评[J];中国教育网络;2006年11期
11 杨涛;刘贵全;;数据网格中基于MAS的复制管理研究[J];计算机仿真;2007年02期
12 杨东华,李建中,张文平;基于数据网格环境的连接操作算法[J];计算机研究与发展;2004年10期
13 李东升,李春江,肖侬,王意洁,卢锡城;数据网格环境下一种动态自适应的副本定位方法[J];计算机研究与发展;2003年12期
14 姜建华;徐高潮;魏晓辉;冀会芳;;数据网格中基于预测访问代价的作业调度算法[J];解放军理工大学学报(自然科学版);2008年05期
15 曲明成;吴翔虎;廖明宏;杨孝宗;左德承;;一种数据网格存储模型与并行下载调度算法[J];高技术通讯;2010年01期
16 侯松霞;鲁晓明;;基于数据网格的数字图书馆[J];科技情报开发与经济;2007年36期
17 王福业;高敬阳;危胜军;;基于PM-chord算法的数据网格副本定位方法[J];计算机工程;2009年02期
18 袁满;刘俊梅;刘铁良;李秀军;;基于模拟退火算法的数据网格副本部署策略[J];计算机工程;2009年17期
19 王大震,王淑静,宋瀚涛,潘浩;数据网格中的数据管理服务框架分析[J];计算机工程与设计;2004年01期
20 张建华,关佶红,王雷春,张俊;一种数据网格的元数据分类管理机制研究[J];武汉大学学报(信息科学版);2005年01期
中国重要会议论文全文数据库 前10条
1 赵武清;许先斌;王卓薇;;一种基于权重的数据网格副本替换策略[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 刘立人;;海量信息光子学:希望和问题[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
3 张琦炜;杨江明;顾宁;杨根兴;刘振宇;;数据网格中的动态分布式多入口技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
4 张祖礼;何洪波;;基于数据网格的科普资源共享平台的设计与实现[A];创意科技助力数字博物馆[C];2011年
5 韩宝玲;付长胜;付伟;赵英杰;肖侬;;BwP:数据网格中的一种更新传播算法[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
6 陈庆奎;那丽春;;网格环境作业动态冗余分配策略[A];2005年全国理论计算机科学学术年会论文集[C];2005年
7 杨正球;;数据门户-资源管理系统建立的新方法[A];2003年通信软件技术学术年会论文集[C];2003年
8 孙文广;吴玲达;宋汉辰;张玉新;;基于红外卫星云图的云的三维表现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
9 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
10 陈庆奎;那丽春;;一个基于网格的并行Join算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
中国重要报纸全文数据库 前10条
1 记者 陈熹 实习生 杜瑞雪;海量信息服务基层百姓[N];湖北日报;2010年
2 ;智能处理海量信息[N];中国计算机报;2004年
3 陈静;推荐服务:第二代互联网的新盈利点[N];经济日报;2006年
4 本报特约撰稿 张旭中国科学技术馆 王二超;海量信息的物理基础[N];南方周末;2007年
5 记者 孙兆秋 刘建伟 通讯员 彭兵根 乌江滨;海量信息 不会筛选吃败仗 真假情报 善于甄别占先机[N];解放军报;2010年
6 陈里雅;海量信息将与市民见面[N];温州日报;2007年
7 雅梓;海量信息开辟在线数据挖掘服务蓝海[N];大众科技报;2008年
8 本报记者 宋黔云 杨春凌;我省为公众筑就海量信息新平台[N];贵州日报;2010年
9 本报记者 边歆;海量信息 轻松存储[N];网络世界;2008年
10 实习生:徐建华;看海量信息“潮起潮落”[N];科技日报;2005年
中国博士学位论文全文数据库 前10条
1 刘瑰;面向海量信息处理领域的数据网格及其关键技术研究[D];解放军信息工程大学;2009年
2 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年
3 邓勇;数据网格安全若干关键技术研究[D];南京邮电大学;2011年
4 李静;数据网格的资源管理相关策略及算法研究[D];重庆大学;2007年
5 邢长明;基于因特网的资源共享模型及关键技术研究[D];山东师范大学;2010年
6 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
7 Qaisar Rasool;数据网格中数据复制的研究[D];哈尔滨工业大学;2008年
8 陈圣兵;基于商空间理论的海量信息检索模型的研究[D];安徽大学;2010年
9 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年
10 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
中国硕士学位论文全文数据库 前10条
1 李宁;数据网格环境下基于融合算法的副本选择策略研究[D];河南大学;2010年
2 王慧娟;数据网格中副本淘汰策略的研究[D];湖南大学;2010年
3 付伟;数据网格中元信息服务系统的设计与实现[D];国防科学技术大学;2003年
4 张毅;《案例》:海量信息产品(深圳)有限公司[D];暨南大学;2002年
5 陈敏;基于MDC数据网格信息服务系统元数据管理的研究[D];武汉理工大学;2006年
6 林泉;基于网格的数字化虚拟人海量数据管理技术研究[D];重庆大学;2007年
7 李琳;数据网格环境下基于经济模型的副本优化策略的研究与实现[D];吉林大学;2005年
8 闫荞荞;基于量子进化算法的数据网格副本创建策略研究[D];南京信息工程大学;2012年
9 张滋业;数据网格技术在故障诊断中的应用研究[D];东北大学;2008年
10 王超伦;数据网格副本管理研究[D];哈尔滨工程大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978