收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

ETrace链路追踪系统的设计与实现

汤茂思  
【摘要】:随着大数据时代的来临以及互联网技术的飞速发展,分布式架构逐渐受到了各大公司的追捧,但在重构的路上,分布式架构带来的隐患也越来越多:许多错误需要花费大量时间才能准确定位;为了排错,工程师需要登录线上机器的权限,登录相应机器后查看异常日志,无形中拉长了排错的时间;很多莫名其妙的问题最后都被定义成是网络问题。虽然市面上存在一些监控工具,但他们之间不能互通互联,扩展能力也相对不是很强,这就使得查找问题根源成为了一个费时费力而不讨好的工作,这时候,对分布式监控系统的需求就越来越迫切。本文对Google公司的Dapper系统,Twitter公司的Zipkin系统以及阿里巴巴的淘宝鹰眼系统进行研究与相关分析,在此基础上构建了 ETrace系统。本文研究的ETrace系统,是饿了么公司内部使用的分布式链路追踪系统。ETrace系统采用流式计算模型,主要分为Agent、Collector和Shaka三个子模块,利用Kakfa作为流式数据平台,公司各个应用通过调用ETrace系统中Agent模块暴露的API进行埋点操作,将数据发送到Collector模块,并由其转发到Kafka,Shaka系统则对Kafka数据进行消费,利用CEP引擎Esper进行实时或者离线的聚合统计处理,并且以报表的形式展示给用户。通过ETrace系统,当某个应用出现了故障,工程师可以快速定位到症结所在;抑或当某个应用响应时间过长,工程师也可以通过ETrace系统快速找到系统瓶颈所在。整个系统兼具实时处理和离线处理功能,基本满足在不同的场景下用户的需求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 唐伟帼;韩冬;;基于分布式架构的广西移动统一开通系统的设计[J];信息通信;2018年05期
2 曲家文;;分布式架构应用实践及分布式技术在银行业应用趋势[J];金融电子化;2016年12期
3 刘国建;;分布式架构支撑银行综合经营与融合创新[J];金融电子化;2016年12期
4 徐敏;;阿里金融云对银行分布式架构转型的探索与实践[J];金融科技时代;2017年10期
5 郑文武;;云存储架构深度解析:分布式架构和对象存储技术[J];通信世界;2017年27期
6 潘润红;李家琪;陈光权;;运用分布式架构推进技术转型[J];金融电子化;2015年07期
7 张升;;分布式架构在银行的应用实践与发展[J];金融电子化;2015年06期
8 ;分布式架构关键技术[J];电脑编程技巧与维护;2016年24期
9 许翠苹;;山石网科:全新分布式架构护航云计算[J];通讯世界;2013年16期
10 欧伟新;陈国忠;;云计算及其分布式架构[J];电信快报;2012年01期
11 周凯;李弘;褚宁琳;;基于分布式架构的艺术类资源云平台建设研究[J];无线互联科技;2018年01期
12 庄表伟;;云中漫步[J];科技创业;2011年07期
13 金磐石;;银行核心业务系统如何应用分布式架构[J];金融电子化;2016年12期
14 江梓豪;黄刘生;徐宏力;;基于数据分片与分布式架构的室内定位中间件[J];电子技术;2017年07期
15 陈波;;分布式架构关键设计与实践探索[J];金融电子化;2016年12期
16 刘斌;闫佳;陈兴;;浅谈大数据下的Hadoop分布式架构[J];电脑知识与技术;2016年01期
17 Guillemette Paour;;汽车保护系统中的分布式架构[J];电子设计技术;2010年08期
18 刘丹;程晓;侯德林;;一种基于RMI的分布式架构设计[J];计算机应用与软件;2007年09期
19 ;趋势产业防毒我先行[J];中国计算机用户;2002年34期
20 熊普江;谢宇华;;小程序,巧应用[J];中国报道;2017年02期
中国重要会议论文全文数据库 前1条
1 林宇;;大数据环境下的最大频繁项目集挖掘算法[A];电力行业信息化优秀论文集2013[C];2013年
中国博士学位论文全文数据库 前1条
1 樊宇婷;分布式架构下光载WLAN系统吞吐量评估模型与网络性能研究[D];北京邮电大学;2015年
中国硕士学位论文全文数据库 前10条
1 汤茂思;ETrace链路追踪系统的设计与实现[D];南京大学;2018年
2 涂苏娟;分布式架构设计[D];南昌大学;2017年
3 张佶;基于可扩展分布式架构的高校搜索引擎研究与实现[D];东华大学;2010年
4 王悦;分布式架构的石油天然气管道设施管理信息系统研究[D];东北石油大学;2015年
5 雷健;基于分布式架构的智能车辆管理系统设计与实现[D];浙江大学;2015年
6 刘蓉;分布式架构的石油管道设施管理信息系统研究[D];电子科技大学;2013年
7 王阳;深度包检测技术的研究和实现[D];北京邮电大学;2016年
8 余之杰;分布式架构下的航空发动机多变量控制系统研究[D];南京航空航天大学;2016年
9 秦滔;Hadoop分布式架构的研究与实际应用[D];北京邮电大学;2015年
10 陈杰;基于分布式架构的实体匹配技术[D];华东师范大学;2014年
中国重要报纸全文数据库 前10条
1 徐云峰 中国指挥与控制学会认知与行为专委会副主任委员 中国计算机学会高级会员、中国计算机学会安全专委会常务委员 十一届、十二届全国青联委员;大数据的魅力在于一切皆可量化[N];中华读书报;2017年
2 本报记者 路沙;当Oracle遇见OpenStack云上更精彩[N];中国信息化周报;2017年
3 本报记者 程彦博;全分布式架构:性能随CPU线性扩展[N];中国计算机报;2013年
4 周斌;分布式架构在电信业的应用[N];人民邮电;2004年
5 王越平;Dominion KX II、PX联手支撑B&Q特力屋连锁运营[N];通信产业报;2008年
6 本报记者 郭涛;IaaS 初级阶段[N];中国计算机报;2014年
7 小黑编译;无线网络:不仅仅是有线的替补[N];计算机世界;2007年
8 《网络世界》评测实验室 董培欣;创新架构 再标新高[N];网络世界;2013年
9 见习记者 黄杰;微众银行式“去IOE”[N];21世纪经济报道;2015年
10 《网络世界》特约撰稿人 逸凡;万里云天剑百尺[N];网络世界;2014年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978