收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分布式环境中信息挖掘与隐私保护相关技术研究

贾哲  
【摘要】:随着互联网和存储技术的快速发展,网络用户数和应用规模迅速扩大,数据存储量呈现爆炸式的增长。在海量数据面前,也要求能够快速的进行管理和计算,提高响应速度。传统的单一服务器的存储模式,已无法满足大数据量存储和计算对性能和可靠性的要求。分布式存储和并行计算很好的解决了上述难题,不但能优化数据存储带来的性能和容量开销,还解决了数据不断增长的扩展性问题,具有良好的可拓展性。伴随着云计算时代的到来,Hadoop分布式计算平台,以其庞大的存储和计算能力,简便的计算模式,便捷的服务形式,得到了极其广泛的应用。越来越多的研究开始致力于向云计算的分布式环境中扩展,如数据挖掘、数据分析等涉及海量数据计算的领域,均开始致力于分布式环境中的算法研究。 但是,由于云计算环境开放的平台和共享的模式,用户和资源高度集中,也面临着很多安全性和隐私保护方面的挑战。尤其是对隐私问题的关注度不断提升,众多研究者也开始致力于隐私保护的研究中。例如,分布式环境中常常出现多部门数据库之间联合挖掘的现象。由于数据通常记载了各部门核心技术和隐私信息,如何在联合挖掘的过程中不泄露用户数据的隐私,就是一个现实需要解决的问题。而分布式外包数据库服务中,由于用户权限分散,为了保护用户数据的安全,一种很自然的方式就是进行权限控制。如何在外包数据库可以进行权限控制的同时,而不泄露用户权限的具体信息,也是一个需要研究的热点。因此,基于上述分析,定位出本文的研究重点,即分布式环境中信息挖掘与隐私保护相关技术研究。 本文的主要内容包括: (1)分布式环境中的数据挖掘算法的研究。Web日志挖掘,主要针对互联网日志信息进行分析,获取页面关联、用户分类、热点聚类、访问序列等信息,改善用户体验。但是,随着互联网的发展,各网站每天记录着数以亿计的交易、访问的日志信息,对Web日志的分析和挖掘,急需向分布式环境中迁移。本文主要针对Web访问日志的频繁序列的挖掘任务,以PrefixSpan序列模式挖掘算法为基础,提出一种在水平分布环境中,基于滑动窗口模型的快速、高效的连续序列模式挖掘算法,并在Hadoop平台上对该算法进行了实现。实验表明,滑动窗口模型,在得到完全的频繁序列的同时,极大的缩减了冗余频繁序列的规模,满足了大数据量的挖掘需求。 (2)分布式环境中保护隐私数据挖掘算法的研究。随着各商业主体之间的合作日益频繁,在多个商业主体联合数据库上进行挖掘的任务变得越来越普遍。而基于隐私的考虑,数据拥有者不希望公布自已的数据信息,只想获得联合挖掘的结果。基于安全多方计算的保护隐私的数据挖掘很好的解决了上述难题。因此,本文针对分布式数据库,采用安全多方计算的基础协议作为处理模块,主要研究了保护隐私的水平分布序列模式挖掘算法和保护隐私的垂直分布关联挖掘算法。针对水平分布序列模式挖掘算法,本文提出新的基于ElGamal门限密码体制和同态加密体制的安全多方矩阵求和协议;针对垂直分布的关联规则算法,本文提出一种新的基于Mix-Match的安全两方点积协议。通过这些基本协议的应用,很好的解决了数据挖掘过程中的隐私保护问题。理论分析表明,在无可信第三方参与的情况下,上述协议能够很好的隐藏数据信息,保护私有信息。文中还对基于安全多方计算的保护隐私数据挖掘问题的设计思路进行了整理和归纳,采用模块化的设计思想,具有灵活、操作简便的优点。 (3)外包数据库访问控制的隐私保护的研究。外包数据库服务是云计算中一种常见的服务模式。随着用户对数据安全的关注增多,数据拥有者希望采用安全的方式将数据进行代理服务器的委托存储,并通过权限控制实现对用户的访问管理。但是,随着用户对隐私的考虑,用户希望保护服务器的访问权限信息,避免数据的访问控制策略的泄露。因此,本文提出一种外包数据库服务中访问控制的隐私保护协议。首先采用秘密共享方案对数据进行分片存储,保障数据安全;采用ElGamal加密体制对外包数据库的权限进行加密存储,保障了授权信息的安全;基于ElGamal同态特性的将代理服务器的权限控制和用户查询相结合,在保护访问权限隐私的情况下,用户能够安全的获得查询结果。理论分析表明,在无可信第三方参与的情况下,能够很好的隐藏访问权限数据,保护数据拥有者和查询者的私有信息。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈晓华;;电子商务消费者隐私问题研究[J];洛阳工业高等专科学校学报;2006年04期
2 陈一梅;;数字化参考咨询的隐私保护研究[J];农业图书情报学刊;2008年01期
3 刘智涛;霍成义;;电子商务中的隐私保护技术研究[J];现代计算机(专业版);2008年10期
4 龙琦;;基于k-匿名的隐私保护[J];科协论坛(下半月);2010年03期
5 毕菊;王莉;;基于快速隐私保护关联规则的挖掘算法[J];辽宁科技大学学报;2010年05期
6 李超良;;物联网隐私保护机制简介[J];福建电脑;2011年04期
7 杨珺;王映龙;;集中式环境下面向隐私保护的数据挖掘技术的方法研究[J];科技信息;2011年08期
8 张珺铭;;基于安全双方计算的密钥改进方案[J];凯里学院学报;2011年03期
9 ;用KV2004隐私保护功能对付网银大盗[J];电脑迷;2004年07期
10 戢渼钧;;关于个性化信息服务的隐私保护[J];图书情报工作;2006年02期
11 钱敏;;数据挖掘中孤立点挖掘算法研究[J];福建电脑;2007年09期
12 李锋;李生红;李建华;;一种基于特征值分解的数据挖掘隐私保护扰乱增强方法[J];上海交通大学学报;2009年03期
13 张来宝;丰茂丽;;浅论网络隐私技术的保护方法[J];科技信息;2009年05期
14 徐猛;;电子商务活动中安全隐私性问题的分析[J];电子商务;2011年02期
15 李玲娟;郑少飞;;基于数据处理的数据挖掘隐私保护技术分析[J];计算机技术与发展;2011年03期
16 ;完善隐私保护发展电子商务——微软公司采取措施加强保护网上用户隐私[J];互联网周刊;1999年33期
17 李蒙,宋翰涛;数据挖掘中隐私保护的随机化处理方法[J];计算机工程与科学;2005年02期
18 张国荣;;分布式数据挖掘的隐私保护问题[J];电脑知识与技术(学术交流);2006年08期
19 徐玲;;数字图书馆建设中的读者信息隐私权保护[J];科技情报开发与经济;2007年03期
20 林海萍;;基于隐私保护的关联规则挖掘研究[J];现代计算机;2007年03期
中国重要会议论文全文数据库 前10条
1 张亚维;朱智武;叶晓俊;;数据空间隐私保护平台的设计[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
2 陆闻天;陶先平;吕建;;普适计算环境中隐私保护的研究与进展[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
3 高建智;肖晓玲;;性病门诊患者隐私保护需求调查分析与对策[A];中华护理学会2009全国护理管理学术交流暨专题讲座会议;中华护理学会2009全国护理新理论、新方法、新技术研讨会论文汇编[C];2009年
4 栾卫华;;妇产科患者隐私保护的调查分析体会[A];河南省妇产科护理风险管理研讨班暨学术会议论文集[C];2008年
5 潘晓;郝兴;孟小峰;;基于位置服务中的连续查询隐私保护研究[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
6 余永红;;集成访问控制和隐私保护机制的安全数据库研究[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
7 陆川;姚剑波;文光俊;;无线传感器网络中的数据融合隐私分级保护[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 刘敏;杨薇;;妇产科门诊与住院病人隐私保护需求特点的比较分析[A];中华护理学会全国妇产科新技术、新理论进展研讨会论文汇编[C];2009年
9 黄毅;潘晓;孟小峰;;OrientPrivacy:移动环境下的隐私保护服务器[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
10 汪涛;杨义先;;RFID的认证与隐私保护[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 张坤;面向多租户应用的云数据隐私保护机制研究[D];山东大学;2012年
2 刘华玲;基于完备空间数据扰动的隐私保护理论方法研究及应用[D];东华大学;2013年
3 任毅;可信数据库中的隐私保护技术研究[D];武汉大学;2011年
4 谈嵘;位置隐私保护及其在基于位置的社交网络服务中的应用研究[D];华东师范大学;2013年
5 张浩;基于位置服务的信息隐私保护技术研究[D];中国科学技术大学;2014年
6 侯士江;基于空间k-匿名的位置隐私保护技术研究[D];燕山大学;2014年
7 李光;分类挖掘中的隐私保护问题研究[D];哈尔滨工业大学;2011年
8 孙一品;车载自组网隐私保护关键技术研究[D];国防科学技术大学;2010年
9 李杨;差分隐私保护数据聚合优化方法及其在数据可视化中的应用[D];广东工业大学;2013年
10 杨涛;基于代理签名的车辆自组网的隐私保护研究[D];北京大学;2013年
中国硕士学位论文全文数据库 前10条
1 孙喜策;商用驱动的无线传感器网络分布式隐私保护技术研究[D];浙江大学;2010年
2 林吓洪;社区化网络中的隐私保护[D];上海交通大学;2010年
3 何青松;基于隐私保护的分布式聚类算法的研究[D];复旦大学;2010年
4 沈旭昌;隐私保护的分布式数据挖掘系统[D];浙江工业大学;2004年
5 毛云青;高效的集值属性数据隐私保护发布技术研究[D];浙江大学;2011年
6 吴修强;WMN安全与隐私保护机制研究[D];西安电子科技大学;2010年
7 王春光;我国网络隐私权民事保护制度研究[D];吉林大学;2005年
8 冷家昭;基于隐私保护的关联规则挖掘研究[D];南京信息工程大学;2011年
9 牛德姣;基于视频的目标跟踪及隐私保护技术的研究与实现[D];江苏大学;2003年
10 王彩梅;位置服务中用户轨迹隐私度量的研究[D];华中师范大学;2011年
中国重要报纸全文数据库 前10条
1 刘国航;打记者难解“隐私”之困[N];法制日报;2010年
2 马婧婧;谁动了我的“隐私”?[N];人民日报海外版;2011年
3 马云飞;P3P:能否撑起隐私保护的天空?[N];中国计算机报;2000年
4 吴平;反乙肝歧视别忘隐私保护[N];中国医药报;2011年
5 黄永维;隐私保护在美国[N];人民法院报;2003年
6 岳成;“黑名单”公布制度与隐私保护[N];国际商报;2001年
7 黄碧梅;我们的隐私,怎么成了别人的金矿[N];人民日报;2010年
8 记者 何宗渝 马姝瑞 付航;网络“隐私门”发酵,谁来保护网民隐私?[N];新华每日电讯;2010年
9 本报记者 吕勇;360密盘让隐私保护更给力[N];中国消费者报;2010年
10 赵正华 冯永强;“八达通”事件凸显港隐私保护亟待更严立法[N];法制日报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978