收藏本站
《南京邮电大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop/hive架构的网络身份识别系统的设计与实现

付倩文  
【摘要】:随着人们对网络和通信的依赖日渐增长,维护网络信息的安全以及用户的合法权益日益重要。而网络的开放性、虚拟性和不确定性无疑给这项工作增加了一个不小的难题。网络身份的绑定成为必然。每个用户常见的网络、通讯行为有邮件通讯、微博发表、短信通讯以及电话通讯。每个用户在四个系统中分别对应一种身份,把四种身份绑定,确认用户的现实身份,使得网络社会和现实社会同样受到监督与保证,维持网络秩序。 由于数据源众多以及各个系统的用户繁多、操作频繁,每日产生TB级甚至PB级的海量数据,传统的关系数据库以及不能满足数据的存储分析处理的要求。本系统利用Hadoop/hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性,对用户的基础信息、特征行为等进行分析,在功能实现的基础上展现出数据处理很高的效率。 本文在实际系统开发的基础上,综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案。将各个数据源的原始数据利用MapReduce进行层层清洗后,装载入一个新建的基于事件的数据仓库。随后,利用HiveQL语言,在专业工作流控制工具的控制下,根据用户要求完成数据的分析处理工作。最后,将数据分析结果展示给用户。 该系统的功能已经部分投入使用,经过实际验证,其各项性能指标均达到用户要求,有很高的实用价值。
【学位授予单位】:南京邮电大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP393.09

手机知网App
【参考文献】
中国期刊全文数据库 前9条
1 孙其博;刘杰;黎羴;范春晓;孙娟娟;;物联网:概念、架构与关键技术研究综述[J];北京邮电大学学报;2010年03期
2 白果;贾玉文;;数据仓库中ETL技术的研究与改进[J];甘肃科技;2012年19期
3 姜奇平;;大数据时代到来[J];互联网周刊;2012年02期
4 张艳秋;徐六通;王柏;;数据集成中不一致性数据相似性比较的加权算法[J];计算机科学;2003年08期
5 刘润达;王卷乐;杜佳;;OpenID:一种开放的数字身份标识管理及其认证框架[J];计算机应用与软件;2008年12期
6 刘伟;郭丽;闫晋锋;;数据库集群服务器系统性能瓶颈分析[J];科技信息(科学教研);2007年33期
7 余慧佳;刘奕群;张敏;茹立云;马少平;;基于大规模日志分析的搜索引擎用户行为分析[J];中文信息学报;2007年01期
8 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期
9 姚君兰;;增强Linux内核实时任务调度性能的研究[J];微计算机信息;2006年14期
中国硕士学位论文全文数据库 前3条
1 叶文宸;基于hive的性能优化方法的研究与实践[D];南京大学;2011年
2 吴娟;一个视频网站数据统计系统的设计与实现[D];南京大学;2012年
3 吴金虎;基于Hadoop的大型网站海量数据的统计与应用[D];南京大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 李芳芳;;数据仓库技术在远程教育中的应用[J];安徽科技;2007年01期
2 唐超礼;魏圆圆;;基于数据挖掘的植保预测系统[J];安徽农业科学;2008年12期
3 徐智勇;吴自友;蔡聪;胡鹏;夏幼明;袁凌云;全鹏;邓冉;;物联网在现代烟草农业中的应用[J];安徽农业科学;2012年01期
4 韦伟;唐凤霞;;我国教育领域中数据挖掘研究论文的计量分析[J];安庆师范学院学报(社会科学版);2011年08期
5 崔柔刚,温阳东;数据挖掘技术在医院信息管理中的应用[J];安徽水利水电职业技术学院学报;2004年01期
6 贺大康;秦涛;;物联网为嵌入式系统带来的新契机[J];办公自动化;2011年22期
7 王建冬;王继民;;基于日志挖掘的高校用户期刊数据库检索行为研究[J];北京大学学报(自然科学版);2012年01期
8 沈彦君;;物联网技术在智能图书馆中的应用[J];国家图书馆学刊;2012年02期
9 李航;刘宏志;;基于ESPI的GSM-R场强数据采集系统的设计与实现[J];北京工商大学学报(自然科学版);2009年03期
10 李凤,柴迎春,谷云东,李洪兴;一种基于模糊化决策树的分类算法[J];北京师范大学学报(自然科学版);2004年05期
中国重要会议论文全文数据库 前10条
1 ;The Research of Security Issues and Key Technologies Based on Internet Of Things[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
2 吴觅昊;戴昌裕;;基于数据仓库的军事无线电管理统计分析技术应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
3 冯永玖;童小华;刘妙龙;;基于PowerDesigner的公路工程地理信息平台数据库建模[A];华东地区第十次测绘学术交流大会论文集[C];2007年
4 郭琪瑶;;计算数据分析在学生管理决策中的模式应用[A];江苏省教育学会2006年年会论文集(综合二专辑)[C];2006年
5 曹波伟;王崛;陈忱;;基于OLAP的数据挖掘在设备维护中的应用研究[A];第二十二届中国(天津)'2008IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2008年
6 曹波伟;王崛;陈忱;;基于OLAP的数据挖掘在设备维护中的应用研究[A];第二十三届中国(天津)2009IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2009年
7 肖克辉;肖德琴;周权;;农业物联网实验室建设[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年
8 丁慧霞;汪洋;徐其春;卢锟;雷煜卿;;浅谈电力物联网通信网络架构[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
9 曹波伟;薛青;郑长伟;于屏岗;陈辰;;基于数据挖掘的装备维修管理智能分析模型研究[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
10 薛红;翁贻方;曹利红;施彦;;超市商业智能系统的数据仓库模型和联机分析研究[A];中国计量协会冶金分会2008年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 刘新华;无线传感器网络功率控制与分簇路由算法研究[D];武汉理工大学;2010年
2 彭博;大范围交通控制与交通流诱导协同关键技术研究[D];吉林大学;2011年
3 卢又燃;放射科随访数据库建立与粗糙集方法辅助诊断胶质瘤分级的应用分析[D];复旦大学;2009年
4 王文彬;移动自组织网络环境下服务组合若干关键技术的研究[D];北京邮电大学;2011年
5 江海峰;无线传感器网络能量优化路由算法研究[D];中国矿业大学;2010年
6 任炳昱;高拱坝施工实时控制理论与关键技术研究[D];天津大学;2010年
7 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
8 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年
9 陈永攀;建筑能源系统物联网架构与实现技术研究[D];哈尔滨工业大学;2011年
10 陆宁;基于BIM技术的施工企业信息资源利用系统研究[D];清华大学;2010年
中国硕士学位论文全文数据库 前10条
1 贾莉莉;跳扩散模型下几种奇异期权的保险精算定价研究[D];山东科技大学;2010年
2 张琪;网络舆论被主流媒体引导的必要性和可行性研究[D];上海外国语大学;2010年
3 曾祥莉;ETL在经济普查信息发布系统中的应用研究[D];哈尔滨工程大学;2010年
4 李伟光;基于BP神经网络的数据库模式匹配方法研究[D];哈尔滨工程大学;2010年
5 李晓光;数据挖掘技术在高校招生和教务管理中的应用[D];哈尔滨工程大学;2010年
6 曹萍;Agent电子商务推荐系统下协同过滤技术研究[D];辽宁工程技术大学;2009年
7 李海山;Web单点登录技术的应用研究[D];辽宁工程技术大学;2009年
8 田向;学生公寓系统安全可行性研究[D];中国海洋大学;2010年
9 南志海;基于web的酒店管理系统的分析与设计[D];中国海洋大学;2010年
10 王爽;GIS与空间数据挖掘技术在环境污染事故应急处理系统中的应用研究[D];中国海洋大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 周轶男;王宇;;Hadoop文件系统性能分析[J];电子技术;2011年05期
2 孙道志;;统计分析中对应分析方法应用[J];黄山学院学报;2006年03期
3 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期
4 李超锋;卢炎生;;基于URL结构和访问时间的Web页面访问相似性度量[J];计算机科学;2007年04期
5 陈付龙,赵诚,纪书国,李明东,汪迅宝;通用数据库集群服务器系统[J];计算机工程与科学;2005年12期
6 陈弦,陈松乔;基于数据仓库的通用ETL工具的设计与实现[J];计算机应用研究;2004年08期
7 张蓓;赵莉;;浅谈数据仓库中ETL的重要性[J];科技信息(科学教研);2008年18期
8 周茂伟;邓苏;黄宏斌;;基于元数据的ETL工具设计与实现[J];科学技术与工程;2006年21期
9 刘兴华;数据挖掘技术及其应用研究[J];辽宁师范大学学报(自然科学版);2002年02期
10 沈苏彬;范曲立;宗平;毛燕琴;黄维;;物联网的体系结构与相关技术研究[J];南京邮电大学学报(自然科学版);2009年06期
中国硕士学位论文全文数据库 前6条
1 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
2 杨宸铸;基于HADOOP的数据挖掘研究[D];重庆大学;2010年
3 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
4 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
5 李静;国内视频分享网站的内容营销研究[D];华东师范大学;2010年
6 夏祎;Hadoop平台下的作业调度算法研究与改进[D];华南理工大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 ;轮胎身份识别系统[J];橡胶参考资料;2009年04期
2 黄金明;说话人身份识别系统的设计与实现[J];计算机工程;2004年S1期
3 ;智能身份识别系统将口令成为过去[J];中国防伪;2005年04期
4 ;智能识别[J];金卡工程;2003年06期
5 边淑芳;;基于信息融合的身份识别技术的发展综述[J];张家口职业技术学院学报;2009年03期
6 刘建峰,王翠茹,刘伟达,张振兴,韩立森;基于Agile方法的软件架构设计与实现[J];计算机应用研究;2004年08期
7 尤玉林,张宪民;一种可靠的数据仓库中ETL策略与架构设计[J];计算机工程与应用;2005年10期
8 程晓雷;社会保险信息系统特点及架构设计[J];电子政务;2005年08期
9 孙健,陶晓峰;基于XML的远程服务架构设计与实现[J];计算机工程;2005年21期
10 温昱;;逻辑与物理架构在架构设计中的应用[J];程序员;2007年01期
中国重要会议论文全文数据库 前10条
1 王佳;赵治栋;;嵌入式心音身份识别系统研究[A];浙江省电子学会2011学术年会论文集[C];2011年
2 李伟华;闫惠平;徐小宁;吴昊;张海萍;;身份识别系统软件在艾滋病队列研究中的应用[A];中华医学会第四次全国艾滋病、病毒性丙型肝炎暨全国热带病学术会议论文汇编[C];2009年
3 王晓民;胡文华;彭瑞云;王德文;;战场敌我身份生物特征识别系统[A];第六届全国生物医学体视学学术会议暨第九届全军军事病理学学术会议、第五届全军定量病理学学术会议论文汇编[C];2005年
4 杜松怀;刘志存;王忠义;施正香;;基于红外通信的动物身份智能识别装置[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第三分册[C];2005年
5 陈宝峰;罗白玲;王元卓;张大鹏;;基于人脸和人耳的组合生物特征识别方法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
6 王剑虎;王磊;;冶金行业MES架构设计[A];冶金企业MES和ERP技术实践论文集[C];2005年
7 王晓民;徐新平;宋良文;胡文华;王德文;;个人生物特征图像体制系统的研究[A];第十一届中国体视学与图像分析学术会议论文集[C];2006年
8 陈义群;刘朝阳;杨亮;鲍庆嘉;;核磁共振波谱仪控制台软件的多层架构设计[A];第十五届全国波谱学学术会议论文摘要集[C];2008年
9 史贤俊;张文广;廖剑;;基于.NET的PXI总线平台软件架构设计[A];中国自动化学会控制理论专业委员会C卷[C];2011年
10 殷维刚;张甜;李霄;衣彬;;军用软件架构设计技术浅析[A];2009第十三届全国可靠性物理学术讨论会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 记者 郑晓春;以开发出新型身份识别系统[N];科技日报;2010年
2 ;英国:基于鼻子形状的身份识别系统[N];人民公安报;2010年
3 本报记者 全新华;虹膜技术:用眼睛开锁[N];桂林日报;2006年
4 刘欣;北达软致力于企业架构的本地化发展[N];建筑时报;2010年
5 蔡 敏;我国指纹产业破茧而出[N];中国质量报;2005年
6 本报记者 于翔;IBM构建架构师培养四级体系[N];网络世界;2010年
7 美《Network Worid》专栏作家 Scott Bradner;互联网正在走向终点吗?[N];网络世界;2010年
8 记者 陈军梅;“放心码”亮相[N];中国质量报;2003年
9 许锐钗 王乐民;福建将建特殊药品监控网络[N];健康报;2006年
10 任凯王靓;齐河“双保险”确保血浆源头安全[N];德州日报;2008年
中国博士学位论文全文数据库 前10条
1 吴翔;基于立体显示的嵌入式身份识别系统研究与设计[D];华东师范大学;2009年
2 裴科;PRSoC三层服务架构及其URAP协议研究[D];太原理工大学;2010年
3 陆雯青;基于多类型运算单元的动态可重构基带处理架构与电路设计方法研究[D];复旦大学;2011年
4 沈希;光载无线网络架构设计及MAC层关键技术研究[D];北京邮电大学;2012年
5 付玉;资源加工与生物工程学术信息服务系统的研究与构建[D];中南大学;2008年
6 陈倩;多生物特征融合身份识别研究[D];浙江大学;2007年
7 宁垒;一种基于语义编程的端云计算协同架构研究[D];华中科技大学;2012年
8 刘瑜;内容分发网中基于对等网的流媒体分发技术研究[D];华中科技大学;2008年
9 满毅;下一代电信服务业OSS关键问题研究[D];北京邮电大学;2011年
10 刘明;分类器组合技术研究及其在人机交互系统中的应用[D];北京交通大学;2008年
中国硕士学位论文全文数据库 前10条
1 付倩文;基于Hadoop/hive架构的网络身份识别系统的设计与实现[D];南京邮电大学;2013年
2 王金林;无线门卫汽车身份识别系统[D];哈尔滨工程大学;2011年
3 何婷;无线门卫汽车身份识别系统[D];哈尔滨工程大学;2011年
4 陈爱平;基于嵌入式的身份识别系统的研究和设计[D];武汉科技大学;2010年
5 王佳;基于心音信号分析的嵌入式身份识别系统开发[D];杭州电子科技大学;2012年
6 李彦林;基于OMAPL137嵌入式平台的手指静脉身份识别系统的研制[D];重庆理工大学;2011年
7 杨艳;基于C/S架构的校园事务综合管理系统的开发与实现[D];天津大学;2010年
8 朱青;嵌入式Linux IC卡身份识别系统[D];哈尔滨工程大学;2011年
9 靳英策;远距离射频身份识别系统的设计与实现[D];哈尔滨工业大学;2011年
10 申雅静;基于核心平台三版架构中失业保险待遇子系统的设计与实现[D];西安电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026