收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于分布式数据库的数据同步机制的研究与应用

戴婉荣  
【摘要】: 随着网络应用的迅速发展,人们对获取信息的正确性和及时性的要求也越来越高。数据库系统是目前存储数据、检索信息最为方便高效的手段,绝大多数企业将信息存储在数据库中。目前数据库系统的趋势是由小型化向大型化、集中式向分布式发展。在分布式数据库系统中,数据多分散存储于同一网络中的不同节点上,要实现各节点数据库信息的同步更新就存在维护分布式数据库中数据一致性和完整性的问题。在此背景下,分布式数据库系统的数据同步研究成为热门课题。 本文是以实际应用项目《湖北水路规费征稽网络信息管理系统二期》的数据同步为背景,在对湖北省港航管理局各级站点的网络环境进行充分分析的基础上,将系统的数据同步划分为省局、地市、县所和基层站点四个层次。项目初期采用SQL Server复制技术进行200多个站点的同步,试用期间出现数据丢失及同步更新不及时等问题,本文通过分析研究,阐述了原SQL Server复制技术在后期应用中所作的一些有效改进,通过将四级架构改为二级架构、去除级联关系、清理系统相关表等方法解决了系统数据丢失的问题。 另外在此基础上设计了一种采用SQL Server事务处理、数据仓库中的ETL技术和XML技术来实现数据同步的新机制。新的同步机制首先利用SQL Server的事务处理和数据仓库的ETL技术搭建一个中间层,或称作数据采集系统,该系统抽取了需要传输的增量数据存储到数据仓库中,然后进行压缩、传输、解压缩等数据处理。数据的上传和下载步骤采用XML技术来实现。先实现存储数据到XML Schema文档的转换,然后生成XML文件,进行上传,之后再将XML文件映射到目标服务器的相应表中,实现数据的下载。 基于ETL和XML的同步机制主要从网络环境不稳定、数据量过大等方面深入分析,通过引入新技术保证数据的完整性和一致性。新机制与SQL Server复制相比有较强的优势,引入的ETL技术能有效缓解服务器承载压力,降低网络负荷,XML技术实现同步的优点是高效、可靠,同时适合海量数据处理,也能扩展为异构数据库的同步。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 景慎艳;;分布式数据库同步技术及其应用[J];电子工程师;2008年12期
2 杨路刚;李丽华;喻莉;;基于分布式数据库的维修资料管理系统设计[J];计算机工程与设计;2009年17期
3 李敬伟;张皓;;多校区数据同步技术的研究和应用[J];河南机电高等专科学校学报;2010年02期
4 金永勤;;利用InterConnect技术实现同步复制的应用与研究[J];计算机应用与软件;2008年04期
5 谢璞;Oracle数据库在全国有线电视监测网中的应用[J];有线电视技术;2003年13期
6 周自斌,朱方洲;分布式数据库的数据同步技术研究和应用[J];电脑学习;2004年02期
7 杨军;;数据库同步技术研究[J];信息与电脑(理论版);2009年11期
8 于晓鹏;陈建孝;李永丽;;基于消息队列的分布式系统数据一致性方法研究[J];吉林大学学报(信息科学版);2011年03期
9 丁鲲,严浩,刁兴春;分布式数据库数据同步技术研究[J];海军工程大学学报;2004年05期
10 曾剑鹿;李宏;;基于消息队列和XML的数据同步技术研究[J];电脑知识与技术;2009年10期
11 詹铁柱;;企业战略联盟技术创新体系信息平台分布式数据库[J];重庆工商大学学报(自然科学版);2008年06期
12 黄晓微;陈玲;魏玮;徐世莲;;基于快照日志分析的数据同步方法[J];后勤工程学院学报;2006年02期
13 张瑞军;魏继中;;一种分布式数据库即时同步算法[J];计算机与数字工程;2008年06期
14 詹铁柱;冯仁德;康世赢;;基于分布式数据库的企业战略联盟技术创新体系信息平台研究[J];农业网络信息;2008年08期
15 郭哲锋;;浅析分布式数据库同步技术理论[J];消费导刊;2009年11期
16 王力萌;;分布式社保计算机系统数据同步技术研究[J];光盘技术;2009年01期
17 陈菲;;数据库复制系统的设计与实现[J];科协论坛(下半月);2010年01期
18 汪静;金玉珍;谢永良;胡旭东;何伟强;武传宇;;基于分布式数据库的喷气织机工艺专家系统设计[J];现代纺织技术;2010年05期
19 贺玉琳;曾晓勤;;一种面向方面的遗产系统改进方法[J];计算机与现代化;2006年08期
20 王华;刘焕敏;段慧芬;年福纯;;试验任务质量管理系统中数据同步策略的研究与应用[J];飞行器测控学报;2010年06期
中国重要会议论文全文数据库 前10条
1 杜方;刘利萍;蒙应杰;赵书城;;基于分布式数据库的物流系统的设计和实现[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
2 杜会林;袁小京;;分布式数据库在油田中的应用[A];第十届全国数据库学术会议论文集[C];1992年
3 任立军;许应康;;多种类型数据同步实现方法的设计[A];2011航空试验测试技术学术交流会论文集[C];2010年
4 习新魁;张斌;郑怀远;;基于客户/服务器模型的分布式数据库中复制字典系统的设计与实现[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
5 芦礼祥;高俊;何守才;;分布式数据库中死锁检测[A];第十届全国数据库学术会议论文集[C];1992年
6 许智君;叶新铭;张珺;;慢速网络下一种分布式数据库数据复制机制与应用[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
7 顾宁;蒋凡;王放;;分布式数据库的异种性数据语言的转换与实现[A];第九届全国数据库学术会议论文集(上)[C];1990年
8 寇玮华;徐扬;;基于消息机制的分布式数据库数据请求模式研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
9 陈建雄;彭成宝;张霞;;基于事件的数据同步冲突处理[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
10 周丽萍;朱利民;;分布式数据库系统的数据存取效率[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
中国博士学位论文全文数据库 前10条
1 寇玮华;基于并行分层式链路分布式数据更新的协议及副本复制研究[D];西南交通大学;2004年
2 王红梅;保护隐私的贝叶斯网络学习研究[D];天津大学;2006年
3 陈熔;个人通信系统中的位置管理研究[D];吉林大学;2006年
4 卢罡;数据库累积异常的主动模糊识别方法研究[D];北京化工大学;2008年
5 陈庆涛;.NET和分布式(网络)数据库集成技术支持下的WEB GIS系统研究与开发[D];成都理工大学;2008年
6 韩剑辉;综合船桥系统体系结构与部分关键技术研究[D];天津大学;2009年
7 王兴中;铁路调度指挥系统中数据存储体系及索引结构的研究[D];中国铁道科学研究院;2011年
8 沈冰;超(特)高压输电线路保护原理与技术的研究[D];浙江大学;2007年
9 马云峰;MSINS/GPS组合导航系统及其数据融合技术研究[D];东南大学;2006年
10 彭博;大范围交通控制与交通流诱导协同关键技术研究[D];吉林大学;2011年
中国硕士学位论文全文数据库 前10条
1 戴婉荣;基于分布式数据库的数据同步机制的研究与应用[D];武汉理工大学;2010年
2 佘东;基于XML和.NET的分布式数据同步的研究与应用[D];合肥工业大学;2009年
3 李丹;基于MRB消息队列的分布式数据库同步的研究与实现[D];北京邮电大学;2007年
4 张雄;分布式数据库数据同步的研究与应用[D];华中科技大学;2006年
5 李群;高速公路收费系统及分布式数据库研制与开发[D];西安电子科技大学;2001年
6 吕恢艳;基于Oracle的智能大厦OA分布式数据库系统研究[D];武汉理工大学;2004年
7 陈业斌;企业分布式数据库管理的实现[D];南京理工大学;2004年
8 姚岚;基于Web服务的智能客户端数据同步[D];复旦大学;2008年
9 李晶晶;分布式数据库在管理信息系统中的应用[D];武汉理工大学;2004年
10 欧阳;空间数据的分布式管理[D];解放军信息工程大学;2004年
中国重要报纸全文数据库 前10条
1 左新宇;用V66实现数据同步传输[N];中国电脑教育报;2003年
2 陈耀光 周萍;分布式数据库的安全探讨[N];中国化工报;2002年
3 本报记者 陈德东;苹果iOS 5系统正式发布 无线数据同步一圆果粉期待[N];通信信息报;2011年
4 江西财经大学信息学院 陈耀光 周萍;分布式数据库的安全探讨[N];计算机世界;2001年
5 ;全球数据同步困难重重[N];计算机世界;2005年
6 ;笔记本电脑的数据同步[N];网络世界;2001年
7 本报记者 徐风;加快脚步跟上国际“潮”[N];中国质量报;2011年
8 本报记者 小白;Sybase分布式数据库打Web服务牌[N];计算机世界;2004年
9 本报记者 周杰;全球商品数据同步助力[N];国际商报;2010年
10 蒋永祥;数据同步的创新[N];计算机世界;2003年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978