收藏本站
《武汉邮电科学研究院》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于高校大数据平台数据集成系统的研究

邓涵元  
【摘要】:随着数字化校园的建设,传统的数据集成系统在海量数据的环境下数据查询和加载的效率均有所下降,且难以融合非结构化、半结构化数据进行融合和分析,针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,设计并实现了一个基于MPP-Hadoop混合框架的的高校异构数据集成的系统,解决了现有数据集成系统难以融合多种异构数据源、海量环境下数据查询和加载效率低的问题。并以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统以及第三方方案基于Hive数据仓库的高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性以及可行性并且为学校在学生的学习生活、心理等各方面的管理工作提供一定程度上的技术支持和指导。本文针对高校的信息化以及海量数据背景下的数据集成产生的问题,提出了优化的设计方案,主要的工作如下:(1)介绍了本课题的研究背景及意义,并介绍了数据集成技术目前国内外的研究现状。阐述分析并比较了目前数据集成中的主流技术。(2)对高校信息化建设中存在的问题进行了需求的分析,设计并实现了一个基于MPP-Hadoop混合架构的高校异构数据集成系统,为目前高校进行数据集成的过程中出现的处理数据量小、难以融合半结构化、非结构化数据提供了解决方案。(3)对系统建设中的关键问题数据加载数据过慢、查询效率低的问题以及解决思路进行了详细阐述。引入改进的蚁群算法和贪婪算法来解决数据加载及数据查询效率问题。(4)以学生行为轨迹数据为例与现有系统以及第三方方案基于Hive数据仓库的高校数据集成系统进行在数据查询和加载两个方面对比评测,较好的解决了目前系统存在的不足,分析并证明了本文系统的有效性。
【学位授予单位】:武汉邮电科学研究院
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 姚源;王一然;;“地月日大系统”数据集成系统的构建研究[J];中国航天;2007年12期
2 钟昕;伏玉琛;;书籍搜索领域Deep Web数据集成系统[J];计算机技术与发展;2008年09期
3 谢兴生;张一鸣;余银;庄镇泉;;一种支持智能匹配检索的数据集成系统设计[J];模式识别与人工智能;2009年01期
4 肖瑞;张威;;基于云计算的数字化校园数据集成系统研究[J];中国科技信息;2013年22期
5 刘敏超;刘卫东;;数据集成系统关键问题研究[J];计算机应用;2006年07期
6 时俊苓;叶丹;;面向业务的数据集成系统设计与实现[J];计算机系统应用;2010年02期
7 王坛;;出版社书目数据集成系统的设计与实现[J];南阳师范学院学报;2010年12期
8 郭忠文;尚传进;管恩花;;面向服务构架的海洋数据集成系统的设计与实现[J];计算机应用研究;2006年02期
9 张仕;赖会霞;;基于轻映射的数据集成系统[J];计算机与数字工程;2009年09期
10 谢委员;叶枫;;医院区域医疗数据集成系统研究[J];现代物业(中旬刊);2010年06期
中国重要会议论文全文数据库 前5条
1 ;生产调度数据集成系统[A];中国黄金协会科学技术奖表彰会暨新技术、新设备推广会议材料[C];2004年
2 谢丽聪;白清源;余建家;;数据集成系统的三层体系结构及查询改写算法的改进[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
3 闫中敏;李庆忠;彭朝晖;董永权;丁艳辉;张永新;徐秀星;;DWDIS:面向分析的Deep Web数据集成系统[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
4 肖冰;廖湖声;郑玉明;;数据集成系统中的XML延迟处理技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
5 张硕;李建中;熊蜀光;王春宇;;一种基于XML的Web数据集成系统查询分解和优化策略[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
中国重要报纸全文数据库 前3条
1 ;BI困则思变[N];网络世界;2007年
2 《网络世界》记者 于翔;大数据高调唱响[N];网络世界;2012年
3 哈尔滨工业大学 王宏志;借XML高效管理数据之道[N];中国计算机报;2007年
中国博士学位论文全文数据库 前3条
1 陈彤兵;LAV数据集成系统的查询处理[D];复旦大学;2005年
2 梅从立;过程工业数据显著误差检测技术研究[D];浙江大学;2007年
3 张永进;面向防汛抗旱指挥系统的应用集成中间件平台研究[D];西北大学;2007年
中国硕士学位论文全文数据库 前10条
1 庞志强;基于相似连接的大数据集成系统的设计与实现[D];东北大学;2014年
2 赵珂;Web实体间关系发现[D];山东大学;2016年
3 张秀东;电力调控大数据集成及管理技术研究与应用[D];哈尔滨工业大学;2016年
4 李虹锋;高可靠性动态群集数据集成系统的研究与实现[D];电子科技大学;2016年
5 廖虹光;支撑大数据的实时数据集成系统的研究与实现[D];电子科技大学;2016年
6 唐成务;面向Web的数据服务描述与集成关键技术研究[D];西安邮电大学;2016年
7 张逍虓;基于XML的数据集成系统的设计与实现[D];东北大学;2015年
8 类成满;基于BIM的施工项目数据集成平台研究[D];青岛理工大学;2018年
9 邓涵元;基于高校大数据平台数据集成系统的研究[D];武汉邮电科学研究院;2018年
10 姚源;地月日大系统研究中数据集成系统的构建和应用研究[D];中国航天第二研究院;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026