收藏本站
《中山大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Storm的微博互动平台的设计与实现

黄馥浩  
【摘要】:过去的十年是数据处理变革的十年,海量的数据对业界的工程师们提出了巨大的挑战,大数据处理、存储技术应运而生。MapReduce、HDFS等相关技术使得前所未有的大规模数据存储和处理变成可能。 但这些处理数据的技术并非为实时处理大数据而设计。随着业务的快速变化、商业模式的不断创新、用户体验个性化、实时化需求的日益突出,海量数据实时处理在商业方面的需求越来大,“实时Hadoop”方面的空缺已经成为大数据处理生态系统中最大的漏洞。而Twitter公司开源的分布式、容错的实时流计算系统Storm则正好填补了该空白。如何运用实时的、分布式的数据流处理框架Storm来提高系统的性能和数据处理的效率,是本论文要探究的问题。 本文以研究生期间参与的研究项目“一找微博互动平台”作为研究对象,深入了解和分析系统存在的数据处理耗时长、资源利用率低等问题。论文使用软件工程的方法,运用迭代式敏捷开发过程和面向对象分析设计等技术,从需求分析、概要设计、详细设计到系统的具体实现和部署等环节进行描述,并介绍了系统的设计与实现过程中运用的各种技术和方法,设计和实现了一个基于Storm的实时数据分析处理系统。最后通过实验,对Storm实现的数据处理系统进行性能测试和水平扩展性测试。根据实验结果和实际应用效果,基于Storm实现的数据分析处理系统,相比基于传统方案实现的数据分析处理系统在效率、实时性、可伸缩性和可用性方面都更具优势。
【学位授予单位】:中山大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP311.52;TP393.092

【参考文献】
中国期刊全文数据库 前3条
1 郑亚琴;郭琪;;微博营销对企业品牌传播的影响[J];吉林工商学院学报;2011年04期
2 金永生;王睿;陈祥兵;;企业微博营销效果和粉丝数量的短期互动模型[J];管理科学;2011年04期
3 孙擎;;浅析国内微博营销面临的挑战[J];中国商贸;2011年03期
【共引文献】
中国期刊全文数据库 前10条
1 李月起;;论微博对社会舆论流变的影响形式与作用机制[J];编辑之友;2011年12期
2 郑亚琴;郭琪;;基于微博的关系行为对企业品牌价值影响研究述评[J];重庆科技学院学报(社会科学版);2012年10期
3 贾沁云;;浅谈如何提高企业微博营销的实效性[J];经营管理者;2012年12期
4 朱长春;李娜;;微博营销的企业应用及模式研究[J];北华大学学报(社会科学版);2012年05期
5 赵罡;;“论坛+微博”双引擎驱动下的供电营销管理新模式探讨[J];电力需求侧管理;2012年06期
6 陈舒;周威;胡曦明;;微博营销在企业品牌传播推广中的利弊分析[J];东方企业文化;2013年06期
7 张晓飞;;关于企业微博营销策略问题的探讨[J];太原城市职业技术学院学报;2013年05期
8 王嘉琦;赖泽霖;;东莞市千羽寿司店微博营销的现状及对策分析[J];电子商务;2013年09期
9 竹学雪;赵呈领;宋晔;;从虚拟学习社区互动到微博支持的学习互动研究[J];中国远程教育;2013年07期
10 张雄君;;浅论微博营销的发展方向[J];传播与版权;2013年04期
中国重要会议论文全文数据库 前3条
1 田婧;;体育用品业中微博营销的研究[A];中国体育产业与体育用品业发展论坛论文集[C];2012年
2 蒋文瑛;王洪伟;;基金管理企业微博营销策略的选择研究——以J公司为例[A];第十一届中国不确定系统年会、第十五届中国青年信息与管理学者大会论文集[C];2013年
3 许玉;宗乾进;袁勤俭;;微博用户网络口碑研究——基于16家A股上市银行的实证分析[A];中国传媒大学第六届全国新闻学与传播学博士生学术研讨会论文集[C];2012年
中国博士学位论文全文数据库 前9条
1 王睿;企业微博营销影响因素与短期效果测量研究[D];北京邮电大学;2012年
2 谷羽;微博客平台的企业公益传播[D];华中科技大学;2013年
3 闫幸;企业微博互动对消费者品牌忠诚和购买意愿的影响机制研究[D];华中科技大学;2013年
4 田占伟;基于复杂网络的微博信息传播研究[D];哈尔滨工业大学;2012年
5 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年
6 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年
7 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年
8 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年
9 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年
中国硕士学位论文全文数据库 前10条
1 孙其昌;中升汇迪奥迪4S店服务营销策略研究[D];华中科技大学;2011年
2 周懿雯;基于Web3.0的酒店微博营销研究[D];华东师范大学;2011年
3 刘婷;基于微博的企业营销模式创新研究[D];南昌大学;2011年
4 赵黎昀;微博营销探析—策略研究与前景分析[D];河南大学;2012年
5 程雪芬;企业微博营销效果影响因素及测度研究[D];大连理工大学;2012年
6 陈晓明;企业微博客营销效果的影响因素分析[D];暨南大学;2012年
7 陈簌雪;媒介生态视域下“绿色”微博客传播环境的构建研究[D];武汉纺织大学;2012年
8 谢志华;SD软件公司的web2.0营销策略研究[D];北京工业大学;2012年
9 熊会会;基于复杂网络的微博客信息传播机制研究[D];华南理工大学;2012年
10 程彬;微博营销对消费者购买行为的影响研究[D];山东大学;2012年
【二级参考文献】
中国期刊全文数据库 前9条
1 乔金星;;企业微博:品牌营销新工具[J];今传媒;2010年05期
2 刘涛;高健;;微博营销:网络时代的图书营销新体验[J];出版发行研究;2010年05期
3 黄琪;;中国微博客的困境和出路探析[J];东南传播;2010年05期
4 范秀成;基于顾客的品牌权益测评:品牌联想结构分析法[J];南开管理评论;2000年06期
5 黄朔;;微博客多级化传播模式初探[J];青年记者;2010年04期
6 杨柳;;微博时代的网络营销策略[J];商场现代化;2010年11期
7 平亮;宗利永;;基于社会网络中心性分析的微博信息传播研究——以Sina微博为例[J];图书情报知识;2010年06期
8 陈佳宁;;微博:传统媒体与互联网融合的新载体[J];中国广播;2010年05期
9 夏黎;;基于“微博”的兴起谈有效进行企业服务营销[J];中国商贸;2010年12期
【相似文献】
中国期刊全文数据库 前10条
1 廖永贵;;临床医疗设备数据处理的数据流模型[J];漳州师范学院学报(自然科学版);2010年04期
2 张晓楠;;建数字体育互动平台[J];每周电脑报;2003年42期
3 马晓倩;;家校互动[J];信息方略;2008年Z1期
4 ;昆明将建国内最先进的政民互动平台[J];电子政务;2008年09期
5 于晓雅;吴建伟;廖明华;;师生网络互动平台的实践探索——北京市中小学教师远程培训与研修互动平台的设计与实现[J];中小学信息技术教育;2009年12期
6 祁蕊;于洁;;优派搭建完美互动平台塑造“显示”沟通艺术[J];办公自动化;2007年03期
7 胡志斌;;传媒互动模式的现状及反思[J];声屏世界;2007年02期
8 郭欣;严超;;用魔灯(moodle)构建家校合作互动平台[J];中小学电教;2007年Z1期
9 贠伍;;艺术类专业实践教学互动式网络平台的构建与开发[J];浙江传媒学院学报;2008年01期
10 孙超;;QQ吧——明星与读者的互动之道[J];记者摇篮;2006年11期
中国重要会议论文全文数据库 前10条
1 黄建明;;港口航道工程中精密水下地形测量的实现[A];港口工程分会技术交流文集[C];2005年
2 董峰;冯士刚;汲业;唐一源;;CAM方法在磁共振数据处理中的应用[A];第十次中国生物物理学术大会论文摘要集[C];2006年
3 李圣明;;时间序列分析及其在变形监测中的应用研究[A];湖北省测绘学会2006年度科学技术交流会论文集[C];2006年
4 高聪梅;宋超;陈东明;;固定电话客户CDR数据挖掘系统的实施[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
5 万军;王丽华;崔银秋;闫世虎;;长江口航道GPS控制网数据处理与应用分析[A];华东地区第十次测绘学术交流大会论文集[C];2007年
6 张伟国;;离石隧道Ⅴ级围岩地段的监控量测[A];矿山建设工程技术新进展——2008全国矿山建设学术会议文集(下)[C];2008年
7 万军;王丽华;崔银秋;闫世虎;;长江口航道GPS控制网数据处理与应用分析[A];中国航海学会航标专业委员会测绘学组学术研讨会学术交流论文集[C];2008年
8 成英燕;丁继新;;我国高精度GPS陆海垂直运动监测网的数据处理[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
9 孟海利;郭峰;;爆破地震波主频率的试验研究[A];第八届全路工程爆破学术会议铁道工程爆破论文集[C];2009年
10 朱寿民;;夏普(SHARP)PC-1500计算机用于营养调查数据处理的程序设计的研究[A];中国营养学会第四届全国学术会议论文摘要汇编[C];1984年
中国重要报纸全文数据库 前10条
1 记者 尹海明通讯员 冼就毅;网上政民互动添新渠道[N];南宁日报;2008年
2 谢少敏;杭州上城工商分局启动短信互动平台[N];中国工商报;2004年
3 周晓慷 陈沛健;江阴乡镇建成信息互动平台[N];人民邮电;2005年
4 ;软交会破解现代会展服务创新密码[N];人民邮电;2006年
5 赵令蔚;搭建廉洁从检关爱互动平台[N];汕头日报;2008年
6 苑福国 马嫦华 杨丽华;北京技展中心搭建国际技术产品交易互动平台[N];国际商报;2005年
7 记者  林之诠 通讯员  康建平 董喜科;“人行IT系统应急演练互动平台”在陕西开发成功[N];金融时报;2006年
8 叶咏菊张爽;中山电信打造农村信息互动平台[N];人民邮电;2007年
9 李增辉;敷衍网民投诉将被问责[N];人民日报;2007年
10 本报通讯员 孙学信 赵春花;优化四种机制 打造互动平台[N];中国石油报;2002年
中国博士学位论文全文数据库 前10条
1 朱小栋;基于扩展预测模型标记语言的数据流挖掘系统建模研究[D];南京航空航天大学;2009年
2 吴枫;数据流挖掘若干关键技术研究[D];国防科学技术大学;2009年
3 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
4 郭立超;数据流挖掘若干技术研究及其在电信行业的应用[D];浙江大学;2011年
5 李军;基于用户行为挖掘的数据流管理技术研究[D];北京邮电大学;2012年
6 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
7 欧阳震诤;不平稳数据流的分类技术研究[D];国防科学技术大学;2009年
8 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年
9 Mahmoud Sami Soliman;[D];中南大学;2010年
10 胡文生;XML数据流上基于窗口的查询处理方法研究[D];武汉大学;2012年
中国硕士学位论文全文数据库 前10条
1 黄馥浩;基于Storm的微博互动平台的设计与实现[D];中山大学;2013年
2 郎福成;真空断路器机械特性在线监测 [D];沈阳工业大学;2005年
3 刘震;质谱仪软件平台的研究与开发[D];吉林大学;2005年
4 刘鹤冰;广惠高速公路小金口双连拱隧道监测及有限元数值分析[D];西南交通大学;2004年
5 胡鹏;谷物产量数据处理及产量分布图生成系统的开发研究[D];江苏大学;2005年
6 黄冰;电测深数据处理软件ELECSLICE的开发[D];太原理工大学;2005年
7 张歆昱;基于心理声学模型的音频数据隐藏算法研究[D];华中科技大学;2005年
8 颜昌彬;基于VC和SQL Server的实验数据库系统研究[D];武汉理工大学;2006年
9 陈晨;水体污染物拉曼光谱检测的数据处理与建库技术[D];华中师范大学;2006年
10 吴磊;x射线测厚仪的硬件设计与实现[D];北京化工大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026