收藏本站
《苏州大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

BESⅢ分布式计算的元数据管理研究

林蕾  
【摘要】:北京谱仪Ⅲ (BESⅢ)高能物理实验产生PB量级的实验数据,海量数据的处理和分析对计算资源和存储资源提出了强大的挑战。为此,中科院高能物理研究所于2011年开始搭建BESⅢ分布式计算环境,以整合异构计算资源,解决现存资源短缺的问题。BESⅢ分布式计算通过元数据检索千万数量级的分布式文件。为了有效管理和使用元数据,实现对所需文件存储地址的定位,本文对元数据管理进行了研究。主要研究内容如下: (1)根据BESⅢ实验和用户需求,综合考虑分布式计算的整体结构和系统性能等因素,得出系统的基本功能需求。根据功能需求,对文件的元数据模型及系统的整体架构进行设计,并基于中间件软件,采用树型目录结构、动态构建物理文件名和虚拟数据集等技术实现了系统的各功能模块。该系统已被应用于实验数据分析和处理,测试结果表明其性能能够满足实验需求。 (2)针对用户对文件的访问具有区域集中性的特点,提出了一种基于MySQL的内存存储引擎提高元数据查询性能的方案。该方案将拥有较高访问量的热点元数据冗余地存储在内存表中。然后根据查询条件和内存表数据的有效性,使热点元数据的查询在内存表中进行,以减少磁盘读写时间。实验结果表明,该方案能在一定程度上提升元数据查询的性能。 (3)提出了一种双元数据库高可用性设计方案,以解决元数据库单点故障,提升元数据库的可用性。该方案利用MySQL的复制功能搭建双元数据库主主复制结构,同时采用主主复制管理工具实现元数据库的工作状态监控和故障切换,并利用虚拟IP技术和最少连接优先策略使用户读、写请求分别访问不同元数据库,以达到均衡元数据库间负载的目的。功能测试结果表明该方案的各部分功能良好,可以应用到实际中。
【学位授予单位】:苏州大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP338.8

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 宫丽华;李登道;李克峰;;P2P技术的研究与应用现状[J];电脑知识与技术;2009年36期
2 宫鼎;;网格计算技术分析及展望[J];福建电脑;2009年10期
3 赵广才;张雪萍;;云计算技术分析及其展望[J];电子设计工程;2011年22期
4 覃肖云;;Web服务技术及其发展趋势[J];广西医科大学学报;2008年S1期
5 都志辉;陈渝;刘鹏;王小鸽;杜江;周念生;;以服务为中心的网格体系结构OGSA[J];计算机科学;2003年07期
6 武小年;张润莲;肖侬;;数据网格系统GridDaEn安全结构模型的设计[J];计算机工程;2006年05期
7 杨涛,刘锦德;Web Services技术综述——一种面向服务的分布式计算模式[J];计算机应用;2004年08期
8 任剑勇,肖侬,黄飏;基于目录服务技术的应用开发[J];计算机应用研究;2001年05期
9 宗士强;林剑柠;朱双华;;LDAP目录服务同步[J];计算机与现代化;2010年10期
10 张晓梅;邓子艳;马秋梅;李卫东;;BESIII离线物理软件在64位系统上的升级研究和实现[J];核电子学与探测技术;2012年10期
中国博士学位论文全文数据库 前1条
1 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年
中国硕士学位论文全文数据库 前4条
1 何华;基于云计算平台的电信经营分析系统中元数据管理的研究与实现[D];北京邮电大学;2011年
2 朱小华;ARP欺骗在局域网中的分析和防御[D];电子科技大学;2011年
3 应英;电子政务元数据管理系统的研究与设计[D];西北工业大学;2007年
4 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 化锋;;面向服务架构的安徽“数字水文”设计与实现[J];安徽农学通报;2006年10期
2 赵秀芳;;林业信息服务网格建设初探[J];安徽农业科学;2006年09期
3 杨云;兰岳奇;;设施农业决策系统的数据仓库建设[J];安徽农业科学;2006年21期
4 丁丁;罗四维;高瞻;;一种基于任务划分的启发式网格调度策略[J];北京交通大学学报;2007年05期
5 陈军;;基于网格计算的安全性问题与策略研究[J];办公自动化;2006年13期
6 陈军;;网格计算的安全技术分析[J];办公自动化;2006年15期
7 钟凯;熊伟;陈荦;程果;;基于OGSA-DAI扩展的空间数据访问和集成[J];兵工自动化;2010年03期
8 文继跃;常桂然;;金融信息网格[J];北京航空航天大学学报(社会科学版);2006年04期
9 蔺源;罗四维;高瞻;;用户行为反馈的网格资源检索方法研究[J];兵工学报;2010年08期
10 刘梅彦;杨根兴;周长胜;;基于Portlet框架的教学网格门户的设计与实现[J];北京机械工业学院学报;2008年03期
中国重要会议论文全文数据库 前10条
1 郝卫东;杨扬;;一类企业级信息系统的关键业务过程的网格服务封装[A];第二十六届中国控制会议论文集[C];2007年
2 彭明军;;城市空间信息多级网格研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
3 李超;侯光明;;网格计算系统中的几种常见动态副本策略及其比较[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
4 赵宏;吾守尔·斯拉木;侯勇;刘欣文;姚正亮;;视频网格模拟器的构建与实现[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年
5 赵正德;王晓华;石秀丽;;网格工作流模型和协同机制的研究与实现[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
6 赵宏;吾守尔·斯拉木;;基于网格的软件共享技术研究[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
7 汪婷婷;吴军华;朱莹;刘一田;;基于RDF/XML的网格资源分层描述[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
8 王少波;刘艳斌;;基于网格技术的企业动态联盟资源信息共享系统的研究[A];成组技术与大批量定制学术研讨会论文集[C];2006年
9 邵虹;李平;崔文成;;就业信息网格体系结构研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 李兴德;叶酉荪;李廷全;;网格系统软件构建方法研究[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
中国博士学位论文全文数据库 前10条
1 于晓燕;基于网格的数字图书馆模式构建研究[D];南开大学;2010年
2 高瞻;网格任务调度中服务质量保证相关问题研究[D];北京交通大学;2010年
3 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
4 蔺源;基于用户行为的网格资源发现相关问题研究[D];北京交通大学;2011年
5 刘昕;基于IPv6的智能交通信息采集与处理方法[D];吉林大学;2011年
6 司海平;农作物种质资源调查信息系统研究[D];中国农业科学院;2011年
7 罗永红;无缝运输信息网格的若干关键技术研究[D];中南大学;2011年
8 韦凯;网格环境下信任模型及其访问控制应用的研究[D];华南理工大学;2011年
9 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
10 张恺;基于DEA和多元智能的教育信息管理理论与模型研究[D];天津大学;2010年
中国硕士学位论文全文数据库 前10条
1 王欢;基于网格制造的焊接车间信息集成系统的研究[D];南昌航空大学;2010年
2 林瑞锋;互联网服务社区中服务资源的调用技术研究[D];山东科技大学;2010年
3 李洋;基于SOA的分布式软件开发的研究与实施[D];长春理工大学;2010年
4 伍小聪;网格资源调度研究及科学数据平台的应用[D];长春理工大学;2010年
5 杨勃;基于OGSA-DAI的异构数据源集成研究[D];郑州大学;2010年
6 王文聿;网格计算环境下基于ASP的客户关系管理模式研究[D];上海外国语大学;2010年
7 刘汉玲;基于Web Service的分布式系统中动态负载均衡策略的研究与实现[D];哈尔滨工程大学;2010年
8 田亚坤;基于对象存储系统中元数据管理方法的研究[D];哈尔滨工程大学;2010年
9 牛庆建;基于遗传算法多目标P2P任务调度策略研究[D];大连理工大学;2010年
10 董峰;基于资源匹配度的P2P动态任务调度策略研究[D];大连理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 李民;陈向瑞;姚艳秋;;基于ARP协议的攻击分析与防范[J];长春师范学院学报(自然科学版);2010年02期
2 于杰;朱有忠;;简单实用的网络嗅探器的设计与实现[J];吉林大学学报(信息科学版);2010年04期
3 陈鹏;杜钦生;赵剑;;网格及网格体系结构的研究[J];长春大学学报;2007年06期
4 陈晨;韩宪忠;王克俭;;一种基于报文过滤防御ARP欺骗的系统架构[J];河北农业大学学报;2009年03期
5 王斌,杨宗凯;基于LOM的教育资源注册与发现系统[J];中国远程教育;2004年01期
6 王柱;;基于IP城域网的MPLS VPN拓扑结构分析[J];电脑知识与技术(学术交流);2007年05期
7 高新明;ARP协议及相关故障分析[J];电信技术;2005年04期
8 彭辛庚;陈湘涛;;电信企业数据仓库中元数据管理的探索与实践[J];电信科学;2009年07期
9 张龙立;;云存储技术探讨[J];电信科学;2010年S1期
10 张桂刚,张昭玉;软件中间件技术探讨[J];福建电脑;2005年01期
中国博士学位论文全文数据库 前4条
1 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
2 王建勇;可扩展的单一映象文件系统[D];中国科学院研究生院(计算技术研究所);1999年
3 吴思宁;机群文件系统服务器关键技术研究[D];中国科学院研究生院(计算技术研究所);2004年
4 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前10条
1 盛秋艳;基于Agent的个性化信息检索技术的研究[D];哈尔滨工程大学;2003年
2 张春景;信息系统元数据规范应用研究[D];华东师范大学;2004年
3 蒲静;网格环境下有关数据复制及容错的研究[D];西南石油学院;2004年
4 余锦;大规模分布式全文搜索系统的研究与设计[D];清华大学;2004年
5 李楠;基于IPv6的入侵检测系统的研究与实现[D];大庆石油学院;2006年
6 郭丽;基于ARP欺骗的交换网络监听技术分析与研究[D];曲阜师范大学;2006年
7 田颖;分布式文件系统中的负载平衡技术研究[D];中国科学院研究生院(计算技术研究所);2003年
8 金涛;公众网络环境中的ARP欺骗攻击与防范方法[D];上海交通大学;2007年
9 张淑宇;水上安全信息系统网络安全技术研究[D];大连海事大学;2008年
10 杜六苟;电信经营分析系统的研究与应用[D];同济大学;2008年
【相似文献】
中国期刊全文数据库 前10条
1 滕连泽,刘洪斌,武伟;地理空间元数据管理的研究[J];农业网络信息;2005年08期
2 刘洋;毕红军;路静;;ETL系统的研究与实现[J];内蒙古科技与经济;2008年20期
3 黄如花;刘贵玉;;开放存取资源元数据管理的对策[J];情报理论与实践;2009年10期
4 屠跃明;;档案数字化信息元数据管理的探索[J];档案与建设;2011年06期
5 辜寄蓉;苗放;王成善;;基于元数据的信息共享机制研究[J];物探化探计算技术;2006年01期
6 管丽娟;;数据ETL软件中元数据模型设计与管理[J];电脑知识与技术(学术交流);2007年08期
7 徐博艺;谢诚;蔡鸿明;;领域本体方法在数据仓库元数据管理中的应用研究[J];计算机应用研究;2010年11期
8 高国伟;王延章;王宁;;基于元数据管理模型的电子政务公文系统应用研究[J];现代图书情报技术;2008年06期
9 黄玉明;;电子文件封装策略研究[J];中国档案;2010年04期
10 林繁,杨树强,邹鹏;大规模事务处理系统的元数据管理[J];计算机工程;2005年21期
中国重要会议论文全文数据库 前10条
1 吴杰;谢昆青;蔡颖琨;;空间数据库中的元数据管理[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
2 张继红;陈小全;;海量交通安全数据的元数据管理研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
3 齐畅;邢春晓;郭杭;周立柱;;基于Topic Maps的元数据管理系统[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
4 雷琦;宁洪;李姗姗;汪昌健;;基于CWM的元数据管理系统的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 张雷;梁坚安;艾波;;应用MDA方法实现数据仓库的元数据管理[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
6 王卷乐;陈义华;;基于元数据管理的地球系统科学数据共享研究[A];中国地理信息系统协会第八届年会论文集[C];2004年
7 宗胜旺;张晖;;通用ETL的研究与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
8 甘露;吴晓军;吴淑琪;应志春;;地质矿产分析测试元数据库管理系统[A];全国第六届X射线荧光光谱学术报告会与X射线光谱分析研讨会论文集[C];2005年
9 周勇;谭斌斌;郧文聚;;农用地分等定级估价元数据管理系统的设计与实现[A];土壤资源持续利用和生态环境安全——中国土壤学会第十一届二次理事扩大会议暨学术会议论文集[C];2009年
10 范宇航;;基于元数据的南宁市环境信息共享模式分析[A];中国环境科学学会2009年学术年会论文集(第四卷)[C];2009年
中国重要报纸全文数据库 前10条
1 张承东;元数据与SOA双剑合璧[N];网络世界;2006年
2 本报记者 张承东;抓住精髓[N];网络世界;2006年
3 ;元数据管理—控制BI之源[N];网络世界;2006年
4 ;元数据管理:构建BI第一步[N];人民邮电;2006年
5 海天;Teradata推出企业级数据管理服务[N];电子资讯时报;2007年
6 赵旭;元数据管理的五种成熟度[N];计算机世界;2006年
7 刘庆;高屋建瓴,而非空中楼阁[N];网络世界;2006年
8 李梅 编译;技术不能填平SOA的所有缺口[N];计算机世界;2005年
9 邝宁华;ASG:实施SOX很简单[N];中国计算机报;2006年
10 ;赛迪时代:智慧城市专家[N];中国计算机报;2011年
中国博士学位论文全文数据库 前10条
1 熊慕舟;基于网格计算的分布式数据管理关键技术研究[D];华中科技大学;2010年
2 刘仲;基于对象存储结构的可伸缩集群存储系统研究[D];国防科学技术大学;2005年
3 杨洪山;基于本体的网格元数据模型及其相关技术研究[D];东华大学;2008年
4 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年
5 王娟;对象存储系统中元数据管理研究[D];华中科技大学;2010年
6 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
7 姚杰;分布式存储系统文件级连续数据保护技术研究[D];华中科技大学;2009年
8 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年
9 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
10 奚砚涛;基于开源技术的煤矿地测数据服务体系研究[D];中国矿业大学;2008年
中国硕士学位论文全文数据库 前10条
1 洪娟;达梦联机分析服务器元数据管理[D];华中科技大学;2004年
2 王荃;NEXT系统中元数据管理与索引技术研究[D];东北大学;2005年
3 田亚坤;基于对象存储系统中元数据管理方法的研究[D];哈尔滨工程大学;2010年
4 崔丽美;地球系统科学数据共享网元数据的扩展和管理研究[D];西北大学;2005年
5 张肖霞;数据仓库系统中元数据的研究与应用[D];中南大学;2005年
6 周芳;基于元模型的信息资源管理技术研究[D];大庆石油学院;2006年
7 陈敏;基于MDC数据网格信息服务系统元数据管理的研究[D];武汉理工大学;2006年
8 郑义;元数据模型在数据统一平台中的应用[D];华北电力大学(北京);2007年
9 王炜;一种数据仓库元数据管理模型及其公安综合应用[D];湖南大学;2005年
10 李珺;数据网格环境下的元数据管理技术[D];华中科技大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026