收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Netty的消息中间件的研究与实现

夏斐  
【摘要】:最近几年,由于信息技术和移动互联网行业的快速发展,全世界积累的用户等各方的数据量呈现指数级增长,大数据时代已经来临。这将不仅为科学研究领域带来巨大变革,也将深远地影响到未来生活的方方面面。现在,大型分布式大数据处理系统集群中的计算数据类型多种多样,根据其需求和计算方式,主要可以分成基于Hadoop的离线处理和基于Spark等的在线实时流数据处理。在线实时流数据处理主要针对该集群从前端获取的监控数据或爬虫等系统实时采集的数据,与离线数据处理不同的是,实时流数据处理的特点是是动态性、持续性。由于实时流数据的这些特征,大数据处理系统在分析和处理流数据时,必须分析数据流量,并根据其流量特征进行动态调整。因此,对于数据的实时处理能力成了评定该系统实时处理的关键指标。消息中间件可以对海量且复杂的数据进行存储和转发到相应的处理节点,正是这样对消息的储存和转发能力可以应对大数据处理中海量数据的需求。面对大数据时代下的消息中间件技术需求,本文旨在通过研究消息中间件涉及到的协议标准、分布式网络通信和网络I/O技术,从而基于Netty提出并实现具有高并发,高可靠特性并且负载均衡的分布式消息中间件系统。论文主要的工作有:1、为了实现该消息中间件的高并发,该消息中间件主要研究了基于事件驱动的Netty高性能网络编程框架的零拷贝技术,基于高性能网络编程框架Netty来设计和实现了网络层,主要包括通信协议。然后,并基于Netty实现通信服务端与基于Netty的通信客户端;2、为了实现系统消息可靠特性,Broker将消息持久化到硬盘。本文通过对比数据库和文件的持久化方案,将基于文件的持久化方案应用到该消息中间件,并提出了相应的实现方法;3、对应系统负载均衡特性的实现,该消息中间件通过两个方面来保证:Producer实现了根据消息内容和Broker数量均衡发送消息,Consumer实现的再平衡机制让Consumer与分区的动态平衡,达到负载均衡,降低Broker压力的目的。在完成基本的消息中间件设计的基础上,本文改进Nettyd通信模型,利用基于异步I/O模型的Java AIO来实现Netty的I/O部分。而在消息持久化方面,研究了持久化的各种方法,并提出了基于跳表索引的文件持久化方法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 吕德奎;崔艳军;;开源消息中间件复杂并发连接控制的研究与实现[J];网络安全技术与应用;2016年12期
2 翟文娟;;浅析分布式系统中消息中间件的设计及实现途径[J];黑龙江科技信息;2016年32期
3 郭嘉凯;;消息中间件:老树新芽[J];软件和信息服务;2014年03期
4 喻涛;曾川;吴荣春;何骞;;面向消息中间件的消息设计与实现[J];信息与电脑(理论版);2014年08期
5 张继胜;;消息中间件技术在二代支付系统的应用[J];金融科技时代;2013年09期
6 赵革科;常炳国;;一种面向服务的异步消息中间件的设计[J];计算机应用;2009年08期
7 余腊生;林健;徐漾;;基于智能体的消息中间件设计[J];科技创新导报;2008年10期
8 潘国伟;宋玮;王相南;曹厚继;;发布/订阅模式消息中间件在SCADA系统中的应用[J];电网技术;2008年18期
9 徐晶,许炜;消息中间件综述[J];计算机工程;2005年16期
10 张睿;;电网调度自动化系统消息中间件特性及关键技术应用[J];科技创新导报;2017年28期
11 刘尧;宁芊;;基于消息中间件的信息系统数据传输与同步设计[J];人民长江;2016年18期
12 唐翠微;;基于消息中间件的数据传输报送系统分析与设计[J];西南师范大学学报(自然科学版);2014年11期
13 苏康;;一种基于消息中间件的数据传输平台设计方法[J];科学技术与工程;2006年07期
14 潘慧芳,周兴社,杨志义;基于CORBA的消息中间件的设计与实现[J];计算机工程;2004年07期
15 胡雅庆;面向消息中间件的设计与实现[J];计算机与现代化;2001年03期
16 李琪林,刘强,周明天;论中间件技术及其分类[J];四川师范大学学报(自然科学版);2001年06期
17 李立宏,李浩昱,张福恩;消息中间件的设计与实现[J];计算机工程;2000年01期
18 孙亮;;消息中间件在数据整合中的应用[J];吉林教育;2008年28期
19 王峰;刘娟;;基于消息中间件的异构数据集成实现[J];电力信息化;2009年07期
20 徐冰亮,王宇红,隋冰玉,张翀焱,徐哲;消息中间件在电力调度软件中的应用[J];黑龙江电力;2001年06期
中国重要会议论文全文数据库 前10条
1 赵艳春;;消息中间件在首钢京唐MES系统的应用[A];中国计量协会冶金分会2010年会论文集[C];2010年
2 奚瑞骏;李波;潘硕华;王迪;;浅析基于JMS、XML技术的消息中间件及在浦东国际机场信息系统中的应用[A];上海空港(第10辑)[C];2009年
3 李欢;李彤;;中间件的概念、分类与发展[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
4 覃明贵;崔中发;;基于BSMQ消息中间件的交通监控与管理系统的研究与设计[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年
5 肖达强;杨建华;白洁音;钱奇;;新型传感计量与海量数据应用解决方案研究[A];2016智能电网发展研讨会论文集[C];2016年
6 张坤峰;徐海丹;;消息中间件在电力调度软件体系结构中的应用[A];中国水力发电工程学会电力系统自动化专委会2008年年会暨学术交流会论文集[C];2008年
7 钱峥;胡亚旦;黄旋旋;;基于消息中间件技术的气象信息总线[A];第33届中国气象学会年会 S20 气象信息化——业务实践与技术应用[C];2016年
8 杨林;;MQ Series在京沪高速综调系统仿真试验中的应用[A];推进铁路新跨越加快经济大发展——中国科协2004年学术年会铁道分会场论文集[C];2004年
9 张福权;谢志奇;;电力二次安全分区后的生产数据安全访问[A];2013年电力系统自动化专委会年会论文[C];2013年
10 陈珺;尹小愚;;基于标准化平台技术构建新华08金融分析系统[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集(上篇)[C];2009年
中国博士学位论文全文数据库 前1条
1 董飚;Internet发布/订阅技术研究[D];南京理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 夏斐;基于Netty的消息中间件的研究与实现[D];电子科技大学;2018年
2 裴鹏飞;支持事务的分布式消息队列中间件的设计与实现[D];山东大学;2018年
3 葛东遥;消息中间件管理和监控系统的设计与实现[D];北京交通大学;2017年
4 修梅婷;家庭开放平台中消息中间件的设计与实现[D];北京邮电大学;2016年
5 陈劼;基于分布式的高可用消息中间件的设计与实现[D];西安电子科技大学;2015年
6 杜蕊;智能消息中间件的研究与应用[D];哈尔滨理工大学;2012年
7 赵革科;面向服务的异步消息中间件的研究与实现[D];湖南大学;2009年
8 于源猛;树型通信网络中消息中间件的研究与设计[D];西安电子科技大学;2010年
9 王宏斌;消息中间件技术的研究和实践[D];浙江大学;2004年
10 李智麟;基于消息中间件的银行账单管理系统的数据集成[D];华南理工大学;2012年
中国重要报纸全文数据库 前10条
1 谢涛;东方通推出新版消息中间件[N];电脑商报;2007年
2 朱律玮;消息中间件为SOA的到来铺路[N];网络世界;2008年
3 风痕;构建企业信息无限共享[N];大众科技报;2009年
4 记者 晁毓山;东方通助力环保提速[N];中国高新技术产业导报;2008年
5 ;农行快速“挖掘”消息通道[N];计算机世界;2004年
6 ;铺就消息通讯的“高速公路”[N];计算机世界;2004年
7 本报记者 陈巍巍;东方通全行业多头出击[N];计算机世界;2012年
8 ;EAI有标准就好了[N];中国计算机报;2003年
9 张娟;云南企业基础信息共享推广工程启动[N];国际商报;2009年
10 本报记者 许继楠;民航区管中心:安全飞行的信息化之道[N];中国计算机报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978