收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向自组织移动云的存储架构关键技术研究

李昌龙  
【摘要】:随着移动互联网、物联网等新兴领域的蓬勃发展,人类社会正逐步从大数据时代向移动大数据时代演进。据统计,全球移动手机占有率预计2020年达到28亿,随之产生的移动数据规模以每年53%的速度指数增长,移动数据在全球数据总量中所占比重逐年上升,将逐渐成为大数据的主体。为缓解快速增长的移动数据规模与有限的移动设备硬件资源之间的矛盾,业界近年开始研究如何将多台移动设备随时随地自组织成为移动云,以实现端侧处理海量移动数据的目标,这一模式称之为自组织移动云(Ad-Hoc Mobile Cloud)。数据的合理存储和科学管理是保障自组织移动云QoS的基础,遗憾的是,目前关于移动云存储架构的研究尚处于起步阶段,相关工作主要基于传统云存储技术展开,无法充分利用移动端复杂的软硬件环境特征。这些特征主要包括:(1)移动设备硬件环境与传统服务器存在较大差异,例如闪存介质对随机读写的更好支持、无线通信带宽远低于有线网络等;(2)移动数据多呈结构化或半结构化,且具有离散分布(Scattering)、规模效应(Scale-effect)、高安全性(Security)的特点;(3)用户需求发生了深刻变化,移动用户对交互实时性提出了更高要求,且更加关注数据存储的安全隐私。本文深入分析了自组织移动云的场景特征,在此基础上提出了更为“高效”和“安全”的存储架构。文章的主要工作和贡献如下:1.基于移动设备的Hadoop移植与配置优化做为研究工作的第一步,本文实现了基于移动设备的Hadoop框架移植。部署过程中发现,移植到移动平台的云框架表现出严重的水土不服,性能方面受到很大影响。为此,本文设计提出了一套面向Hadoop移植的优化策略,通过神经网络技术挖掘配置参数与移动端软硬件环境间的内在关联,有效提高了系统工作效率。本部分工作的意义在于:首先,发现并实践了传统云架构到移动端的移植部署方法,为进一步研究打下基础;其次,通过大量实验,我们对移动端数据存储的性能表现和瓶颈所在有了更深入的了解;最后,测试和分析结果证明,面对分布式移动场景全新的硬件架构和软件环境,以Hadoop文件系统为代表的传统云存储架构在设计上存在不足,无法实现移动云高效、安全存储的目标。2.基于自组织移动集群的分布式键值存储系统移动数据往往呈结构化、半结构化特点,分布式文件系统架构对此类数据的存储管理仍有不足。本文在前一部分工作的基础上,设计提出了面向自组织移动集群的轻量级分布式键值存储系统LKSM。系统基于LSM-Tree索引结构实现,并维护了全新的数据结构:弹性内存槽,在两组件的紧密配合与协调工作下,LKSM有效缓解了闪存的写敏感和I/O放大问题,同时大幅提高了数据存储性能。实验表明,相较LevelDB存储架构,LKSM在移动端具有更大优势(数据规模512MB时,读、写时间仅为LeveIDB的30.12%和36.16%)。3.基于属性命名空间树的数据存储安全模型以往研究工作主要关注存储架构的高效性,然而移动数据与个人隐私息息相关,因此用户对自组织移动云提出了更高的安全性需求。本文从用户层、逻辑层、物理层三个层面剖析了分布式存储架构,发现了其中存在的安全隐患,进而提出了一套基于属性命名空间树的数据存储安全模型ANDS。通过引入命名空间属性管理机制,ANDS以权限访问控制和数据加密的方式实现了元数据与内容数据的双重防护。在此基础上,本文提出了块粒度的代理重加密策略,结合分布式存储以块为单位的特点,我们利用多设备同步重加密的方式有效缓解了安全保护带来的性能开销。4.基于自相似原理的大规模边缘设备负载均衡策略少数移动设备在局域网内自行组建网络是易于管理的,然而移动设备的持有量远超PC机,因此移动集群规模的增长潜力远大于传统云平台。随着SDN和NFV等技术的发展,广义的边缘设备规模更为庞大。因此,如何有效管理大规模移动云集群成为了亟待解决的一项关键性问题。本文提出了基于自相似原理的负载均衡策略,并针对通信负载问题设计了任务分发算法Task Distributing和任务抓取算法Task Grasping,为大规模设备的资源管理提供了一套有效的解决方案。本文通过理论分析和模拟仿真验证了 SSLB在大规模边缘设备管理中的性能优势。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 尹萍;卜雪旸;;新常态下历史街区自组织再更新研究[J];城市地理;2016年22期
2 刘辉;;理解公共文化服务:再论自组织运作及其治理效应——以一个黄河边村庄的“农民文化交流会”为个案[J];中国文化产业评论;2016年01期
3 王法涛;宋涛;;集体性对抗项目竞技能力自组织属性研究[J];文体用品与科技;2016年24期
4 贾桂华;;社会进步视野中的自组织及其党建问题[J];祖国;2017年11期
5 付仕蓉;黄文忠;;高中课堂自组织教学模式初探[J];新校园(中旬);2017年06期
6 陈昌梅;;在自组织行为中真实学习[J];新课程导学;2017年27期
7 姜勇;周筱淋;贾鑫;;基于自组织的学生公寓社区化管理模式研究——以辽宁工程技术大学葫芦岛校区为例[J];中国多媒体与网络教学学报(电子版);2017年04期
8 帅满;;信任转化与演进机制研究:以网络结构信任为中介的考察——以自组织“菜团”为例[J];中国研究;2014年02期
9 孙中秋;陈晓美;毕强;;知识自组织与他组织方法类比与融合研究[J];数字图书馆论坛;2014年09期
10 李凌云;;他组织到自组织模式的教师专业共同体研究[J];中国成人教育;2017年16期
11 高翔;张伟平;;自组织方法论视域下的教学研究[J];西南科技大学高教研究;2009年03期
12 谢康;刘意;肖静华;刘亚平;;政府支持型自组织构建——基于深圳食品安全社会共治的案例研究[J];管理世界;2017年08期
13 张科芬;张升;滕继东;盛岱超;;离散元中破碎自组织对颗粒破碎影响研究[J];岩土工程学报;2018年04期
14 姚远;饶盛;;以青年自组织为载体推进大学生社会主义核心价值观教育[J];管理观察;2018年08期
15 中共江苏省委统战部、扬州大学联合课题组;王晓燕;;民营企业家自组织的发展状况及工作对策研究[J];江苏省社会主义学院学报;2018年02期
16 程杰贤;郑少锋;;农产品区域公用品牌使用农户“搭便车”生产行为研究:集体行动困境与自组织治理[J];农村经济;2018年02期
17 方曙光;;心灵共同体与双重内卷化:我国失独老人自组织的建构研究——基于四个失独老人自组织的比较分析[J];理论月刊;2018年05期
18 俞晓牮;赵志庆;林威呈;;自组织视野下王都坂社区营造[J];城市建筑;2018年13期
19 方曙光;;心灵共同体与双重内卷化:我国失独老人自组织的建构研究[J];人口与社会;2018年03期
20 施文君;;空间自组织网络研究[J];黑龙江工业学院学报(综合版);2017年12期
中国重要会议论文全文数据库 前10条
1 王平;梁正;迪特·恩斯特;;我国自愿性标准化体制改革的愿景和挑战——试论市场经济条件下产业标准化自组织[A];团体标准研究与实践论文集[C];2016年
2 陈忠;金纬;严宇骊;;系统协调的类型与测度[A];Systems Engineering, Systems Science and Complexity Research--Proceeding of 11th Annual Conference of Systems Engineering Society of China[C];2000年
3 周秦;;自组织模式下的乡村发展和治理思考[A];城乡治理与规划改革——2014中国城市规划年会论文集(14小城镇与农村规划)[C];2014年
4 王安民;吴建材;谢永平;;商业生态系统进化机制的研究[A];全国第七届工业工程与企业信息化学术会议论文集[C];2003年
5 李锐;鞠晓峰;;产业创新系统的自组织进化机制及动力模型[A];第七届中国软科学学术年会论文集(上)[C];2009年
6 艾建宇;吴显辉;冯胜彦;陈蔚梅;郭明雄;熊晓然;吴斌;;杆菌在平板上的生长模拟[A];全面建设小康社会:中国科技工作者的历史责任——中国科协2003年学术年会论文集(下)[C];2003年
7 庞文斌;;普里高津的“离散结构理论”与《内经》中的阴阳平衡[A];泛中医论坛·思考中医2006——经典中医的特色和优势论文集[C];2006年
8 袁倩;;国家退出之后:基于农村自组织的公共产品供给机制——对赵坝“农民议会”的案例研究[A];上海青年政治学年度报告2013[C];2013年
9 包郭平;应益荣;;上海循环经济发展的政策取向[A];2005中国可持续发展论坛——中国可持续发展研究会2005年学术年会论文集(上册)[C];2005年
10 常燕勋;栾鑫;李学旺;;自组织视角下的乡村社区空间规划探析[A];新常态:传承与变革——2015中国城市规划年会论文集(14乡村规划)[C];2015年
中国博士学位论文全文数据库 前10条
1 李昌龙;面向自组织移动云的存储架构关键技术研究[D];中国科学技术大学;2018年
2 杨光松;无线局域网和自组织网在干扰环境下的性能分析及相关策略的研究[D];厦门大学;2005年
3 许丙泉;从快感到美感[D];山东大学;2006年
4 董攀;自组织的MANET密钥管理机制研究[D];国防科学技术大学;2006年
5 陈曦;自组织蜂窝通信系统若干关键技术研究[D];解放军信息工程大学;2007年
6 陈玉旺;基于极值动力学的自组织优化理论、算法与应用研究[D];上海交通大学;2008年
7 薛伟剑;自组织反应网络的构筑及其在杂环化合物合成上的应用研究[D];华中师范大学;2015年
8 黄慧明;1949年以来广州旧城的形态演变特征与机制研究[D];华南理工大学;2013年
9 范新华;高新技术企业核心能力评价研究[D];江苏大学;2008年
10 李颖;中国小额信贷机构的演化研究[D];安徽大学;2015年
中国硕士学位论文全文数据库 前10条
1 李登奎;基于异源自分工反应序列的汇聚集成原理设计合成3-芳基喹啉类结构体的新方法[D];华中师范大学;2017年
2 李琼;厦门筼筜路特色街自组织形成与发展策略研究[D];华侨大学;2017年
3 岑锦秀;摊贩自组织与城管部门的互动关系研究[D];贵州大学;2017年
4 颜俊华;自组织网络中调度算法的研究[D];华中科技大学;2016年
5 卢占翔;自组织网络环境下基于遗传蚁群算法的计算迁移技术研究[D];北京邮电大学;2017年
6 李鹏飞;基于换位规则的非阻塞自组织链表[D];天津大学;2016年
7 李欣辰;元气论中的自组织思想[D];南京农业大学;2016年
8 关欣;自组织微小卫星星座性能分析及自主导航技术研究[D];南京航空航天大学;2017年
9 刘家伟;面向应急成品粮储备的自组织网络系统的研究与实现[D];北京邮电大学;2016年
10 崔筱曼;西安明城区回坊地段居住生活空间自组织更新研究[D];西安建筑科技大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978