收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向低延迟的在线流处理作业调度算法研究

魏讯  
【摘要】:随着大数据时代的到来,实时处理大规模数据流成为亟待解决的重要问题。为了满足实时性的要求并确保处理数据流的稳定性,很多企业用户采用了各种分布式流处理系统架构或平台,它们提供的基本功能是将流处理应用程序作业任务分配给当前可用的物理资源并在这些资源之间路由数据。对于很多分布式流处理框架来说,如何将应用程序中的任务调度到物理集群上是主要解决的问题之一。目前分布式流处理系统关于延迟约束的调度算法很多关注的是计算密集型的场景,对于系统延迟考虑了任务所需计算资源以及任务的处理时间等因素,往往忽视了任务间传输时间对流处理系统延迟造成的影响。而且,当前许多流处理系统的默认调度策略缺少对任务资源需求以及物理集群资源可用性等因素的感知,在集群资源的利用率上效果不佳。因此,对流处理系统而言,如何在满足实时性和资源要求的情况下,最小化使用物理集群资源是一个亟需解决的问题。此外,在流处理系统运行的过程中,数据流达到速率是在动态变化的,当速率波动较大时,应用程序中任务可能会出现过载的现象,导致系统延迟增加,违背了实时性的要求,如何适应数据速率波动,调整系统的计算能力以满足延迟约束也是本文的主要问题。在本文中,为了满足流处理系统的实时性要求,首先,本文将任务调度问题建模成最小化使用资源的优化问题,该问题中考虑了集群中计算资源可用性、任务的工作负载、任务节点的特征以及任务之间的传输延迟等因素。针对该优化问题,本文提出了两种启发式的流处理调度算法:AHA算法和PHA算法。AHA调度算法从流处理应用程序的拓扑结构特点出发,致力于减少流处理系统中的传输延迟。PHA调度算法分析了关键路径的延迟对整体延迟的影响,通过调整关键路径的延迟保证系统的实时性要求。而且在模拟实验中,本文采用了三种类型的流拓扑结构,并通过对比实验来验证两种启发式算法可行性及准确性。从实验结果发现,本文提出的启发式调度算法能够保证流处理作业实时性,同时使用较少集群资源。其次,针对流处理运行过程中,数据达到速率波动特征,本文通过使用排队论方法将数据在应用程序算子任务内部等待时间与任务处理时间形式化为延迟预测模型,在此基础上,根据延迟预测模型凸函数的性质,预测算子任务的最少并行数量。并且,本文将动态速率变化引起的调度问题建模成最小化优化问题,提出并设计了最少算子并行任务数的预测算法以及动态资源调度算法DST。其中,DST调度算法的主要目标是在满足用户延迟约束的条件下,最小化使用集群处理器内核资源。除此以外,该算法能够在流处理应用程序达到临界触发条件或者满足时间调度周期时触发执行调度,而且在数据流平均到达速率较低的时,为了提高资源的使用效率对资源进行整合。最后通过模拟实验的方式对本文提出的动态资源调度算法DST进行测试与评估,在实验中,本文采用了真实数据集Memetracker及模拟数据集两种数据,并利用两种算法进行了对比测试。通过实验结果分析,发现DST调度算法能够较好地适应数据流到达速率的变化,在满足延迟约束以及提高资源利用率的方面效果显著。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周燕飞,王林博,袁普及;基于批生产的逐段式车间作业调度算法[J];南京航空航天大学学报;2002年06期
2 陈俊豪,孙士寅;海港船舶—泊位调度算法的探讨[J];上海第二工业大学学报;1988年03期
3 邵中;实用大学课程表问题及其调度算法[J];教育与现代化;1989年Z1期
4 尹祚明,吴菱;多机相关任务的改进型分枝定界调度算法[J];计算机学报;1989年01期
5 沈志宇;;多机系统的并行循环调度[J];计算机工程与科学;1989年02期
6 许丽卿;;云环境下基于双重公平性约束并行调度算法的研究与实现[J];福建师范大学学报(自然科学版);2016年06期
7 郝继锋;虞保忠;周霆;徐晓光;;一种多核混合分区调度算法设计与实现[J];微电子学与计算机;2016年07期
8 易云山,桂志波;分组网络中包调度算法研究[J];江苏通信技术;2004年03期
9 邹圣雷;;基于嵌入式系统任务调度算法的研究[J];电子设计工程;2019年07期
10 杜金燃;黄建理;肖博;韩宏;;基于三角模糊数改进的块存储调度算法[J];信息技术;2017年09期
11 李金忠;梁正友;;一种新颖的网格工作流调度算法[J];计算机工程与应用;2010年10期
12 刘东;张春元;;软件容错模型中反向与正向调度算法研究[J];计算机工程与科学;2007年09期
13 曾东海;刘海;金士尧;;集群负载调度算法性能评价[J];计算机工程;2006年11期
14 王俊祥;;常用进程调度算法的分析与评价[J];计算机与信息技术;2006年08期
15 张惠娟,翟鸿鸣,周利华;实时协同的调度算法研究[J];计算机工程与设计;2004年09期
16 左利云;吴良海;;基于内存管理的多重查询调度算法[J];计算机技术与发展;2010年07期
17 黄胜;庞洪丰;孙丽琴;王汝言;吴大鹏;;光突发交换网络的一种批量重调度算法[J];光通信技术;2010年12期
18 肖刚;;一种嵌入式自适应调度算法的设计[J];计算机与数字工程;2009年08期
19 周俊杰;巢志骏;席裕庚;;预测调度算法在平行机问题中的应用[J];控制工程;2008年05期
20 杨永斌;唐亮贵;;队列调度算法在网络中的应用研究[J];计算机科学;2005年07期
中国重要会议论文全文数据库 前10条
1 彭洪;涂菶生;;面向操作的调度算法[A];1994中国控制与决策学术年会论文集[C];1994年
2 吴明行;韩银和;李晓维;;应用于作业调度算法的可测试性设计[A];第十届全国容错计算学术会议论文集[C];2003年
3 韩璞;李超;董泽;崔秀政;;工业过程网络化控制系统混合调度算法研究[A];2009中国控制与决策会议论文集(2)[C];2009年
4 景维鹏;吴智博;刘宏伟;董剑;;一种支持任务依赖关系容错调度算法[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年
5 胡乔乔;马驰远;贾龑;;DRAM存储调度算法研究[A];第十七届计算机工程与工艺年会暨第三届微处理器技术论坛论文集(下册)[C];2013年
6 党小林;刘锋;张军;;时变优先:一种新的调度算法[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
7 罗豪杰;许都;;IEEE 802.16 MAC层上行调度算法[A];四川省通信学会2007年学术年会论文集[C];2007年
8 何翔;何军;李奇;;基于系统损失和任务复杂度的网格调度算法[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
9 徐辉;郭亚红;纪守领;惠丽;;一种多信道传感器网络的无冲突调度算法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
10 周航;王希敏;蔡志明;;一种适于多核集群的混合并发任务流调度算法[A];中国声学学会水声学分会2015年学术会议论文集[C];2015年
中国博士学位论文全文数据库 前10条
1 王振宁;面向异构数据中心的新型硬件架构与调度算法[D];上海交通大学;2017年
2 许登元;类以太网物理帧时槽交换技术研究[D];西南交通大学;2005年
3 李波;支持网格资源预留的作业调度算法研究[D];华中科技大学;2005年
4 刘亚杰;P2P流媒体内容分发关键技术研究[D];国防科学技术大学;2005年
5 吴刚;对低功耗进程调度算法的研究[D];复旦大学;2006年
6 王英杰;城域无线Mesh网络的网络控制与资源管理算法研究[D];北京邮电大学;2007年
7 黄平;分布式多级交换系统中队列结构及其负载平衡调度算法研究[D];华中科技大学;2006年
8 黄平;分布式交换系统队列结构及调度算法研究[D];华中科技大学;2006年
9 李季;EPFTS平台上基于服务质量的调度算法研究[D];西南交通大学;2008年
10 田冲;无线网络跨层调度算法研究[D];山东大学;2009年
中国硕士学位论文全文数据库 前10条
1 李柏润;基于Pi演算的分布式多Agent异构调度算法的研究与实现[D];吉林大学;2019年
2 魏讯;面向低延迟的在线流处理作业调度算法研究[D];吉林大学;2019年
3 吕铮;基于轨迹数据的出租车路线推荐和公交车调度算法研究[D];厦门大学;2018年
4 黄怀崧;仓储自动化多AGV控制系统与调度算法的研究[D];厦门大学;2018年
5 吴航;绿色移动边缘计算中的调度算法研究[D];中国科学技术大学;2019年
6 王妍;TD-LTE系统中基于QoS的下行资源调度算法研究[D];天津理工大学;2019年
7 阮江涛;基于Hadoop的作业调度算法研究与改进[D];上海师范大学;2019年
8 余泽睿;考虑设备维护的综合调度算法研究[D];哈尔滨理工大学;2019年
9 裴莉榕;考虑迁移双目标的多车间柔性综合调度算法研究[D];哈尔滨理工大学;2019年
10 孙唯一;CDN网络流量调度算法的研究[D];哈尔滨理工大学;2019年
中国重要报纸全文数据库 前1条
1 何川 方兴;运筹帷幄决胜千里[N];计算机世界;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978