收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于皮尔森系数距离权重KNN算法的P2P流量分类方法研究

尹欢一  
【摘要】:在P2P技术不断的发展过程中,P2P技术在文件共享、数据存储、多媒体等业务上所体现出来的优势,使得P2P流量成为整个互联网流量的主体,然而P2P网络凭借着自身对等覆盖网络的特性,给互联网提供商在其管理和维护上带来了巨大挑战。P2P技术带来的巨大挑战包括:互联网的主体流量被P2P流量所占据,非P2P流量在带宽资源的利用率上明显不足,导致非P2P应用在可用性上无法得到保障;随着技术不断更新迭代,越来越多的P2P应用开始使用随机端口和协议加密技术,使得P2P应用所带来的信息安全问题日益凸显;传统的P2P流量识别技术主要基于应用端口、应用层签名、行为特征,但随着P2P技术日益复杂,传统的识别技术已经无法满足现有的需求。机器学习作为一门使用计算机模拟人类行为活动的科学被广泛应用,机器学习方法主要是将不断变化的外界信息传递到机器学习算法中,从而建立一种算法模型,此算法模型能够根据外界环境的变化来提高自身的学习能力。本课题是针对P2P流量分类方法的研究,通过对比传统的P2P流量分类方法,研究机器学习方法在处理P2P流量分类问题上的优势,本文的主要工作如下:1.基于对ReliefF特征选择算法的研究,分析其优缺点,在ReliefF算法基础上提出一种改进的MS-ReliefF算法。MS-ReliefF算法从纵向和横向两个维度对原始特征集进行特征约简,纵向通过联合特征权重选择最优特征对,横向计算特征之间的相关性去除冗余特征,最终得到最优特征子集。2.通过分析传统的KNN算法,在传统的KNN算法基础之上,提出一种改进的PSDW-KNN算法。PSDW-KNN算法引入了特征距离权重和皮尔森相关系数,在传统的KNN算法之上,给不同特征赋予相应的权重,并且通过皮尔森相关系数计算出样本之间的相关程度。通过实验对比了传统的KNN算法、DW-KNN算法和改进的PSDW-KNN算法,实验结果表明PSDW-KNN算法在近邻K取值较小且训练样本数较大的情况下,具有更高的分类准确度。3.为了提高机器学习算法模型的计算能力,本文借助Spark分布式运算框架的计算能力,将本文提出的PSDW-KNN算法与Spark MLlib机器学习库相结合,构建了原型系统,进一步提高算法模型的分类识别效率。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 宋毅飞;周剑秋;;KNN算法与其改进算法的性能比较[J];机电产品开发与创新;2017年02期
2 郝卫杰;王艳飞;胡敬伟;张公敬;;基于超球区域划分的改进KNN算法[J];青岛大学学报(自然科学版);2017年01期
3 万中钰;;大数据样本分析中的快速KNN算法[J];信息系统工程;2017年01期
4 孙永佼;东韩;袁野;王国仁;;P2P环境下面向不确定数据的kNN查询方法[J];东北大学学报(自然科学版);2012年05期
5 张晓亮;赵平;徐冠青;林日明;;基于一种优化的KNN算法在室内定位中的应用研究[J];电子设计工程;2013年07期
6 孙志刚;王国涛;高萌萌;郜雷阵;蒋爱平;;基于kNN优化算法的密封电子设备多余物定位技术[J];电子测量与仪器学报;2021年03期
7 蔡康;;基于改进型蚁群算法的P2P网络资源搜索的研究[J];电信科学;2012年03期
8 李安宇;;基于KNN算法实现手写数字识别的探索[J];通讯世界;2020年02期
9 丁勋;王东;;基于自适应组播机制的P2P阻塞算法研究[J];计算技术与自动化;2008年02期
10 孙建强;尚俊娜;刘新华;施浒立;吴芳;;一种基于模糊推理的改进加权KNN定位算法[J];传感技术学报;2020年06期
11 王晴;朱家明;;KNN算法在汇率预测中的应用及改进[J];兰州文理学院学报(自然科学版);2017年03期
12 严新华;;基于P2P网络的资源发现算法研究[J];信息安全与技术;2012年05期
13 陈娟;刘继承;孔维华;;P2P网络构架下路径查找的优化算法[J];计算机与数字工程;2008年10期
14 张棪;周旭;刘书浩;唐晖;;基于3G网络的P2P系统中基于模糊认知图的小区优先节点选择算法[J];电信科学;2012年01期
15 余鹰;苗夺谦;刘财辉;王磊;;基于变精度粗糙集的KNN分类改进算法[J];模式识别与人工智能;2012年04期
16 郑伟;马艳丽;赵凤荣;;改进的KNN算法在煤种分类中的应用[J];煤炭技术;2011年01期
17 王雪萍;杨青;黄祖锋;;P2P网络中基于蚁群算法的智能搜索研究[J];电子测量技术;2007年04期
18 张晓辉,李莹,王华勇,赵宏;应用特征聚合进行中文文本分类的改进KNN算法[J];东北大学学报;2003年03期
中国重要会议论文全文数据库 前20条
1 郭祖华;马绍惠;刘丹;马世霞;;一种基于P2P的网格资源发现算法[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
2 杨柳;钟诚;陆向艳;;基于P2P网络的分布式聚类算法研究分析[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
3 王禹;侯昉;;P2P网络两级混合路由算法[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
4 谭振华;程维;常桂然;高晓兴;王贺;;一种基于分布式选举算法的结构化P2P覆盖网络路由协议[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
5 杨丞;张刚林;刘光灿;王路露;;一种针对P2P网络优化的Kademlia路由算法[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
6 丁琳琳;乔百友;王国仁;陈忱;;SMR:一种支持高维数据KNN查询的P2P语义覆盖网络[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
7 裴尔明;孙功星;张伟毅;庞彦广;顾明;马楠;;一种基于P2P机制的网格资源定位方法[A];第十二届全国核电子学与核探测技术学术年会论文集[C];2004年
8 王雪萍;杨青;黄祖锋;;P2P网络中基于蚁群算法的智能搜索研究[A];2006全国复杂网络学术会议论文集[C];2006年
9 贾波;邹园萍;;基于无监督学习的P2P流量识别[A];浙江省信号处理学会2011学术年会论文集[C];2011年
10 于翠波;王刚;勾学荣;;基于区域划分的P2P超节点选举算法的研究[A];第十届中国科协年会信息化与社会发展学术讨论会分会场论文集[C];2008年
11 张晓玲;钟诚;李智;李锦;张尊国;;基于反馈选择的P2P网络搜索算法[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
12 陈明;鹿旸;;基于语义相似度的P2P平衡路由网络[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
13 高长喜;辛阳;钮心忻;杨义先;;基于行为特征分析的P2P流量识别技术的研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
14 彭新林;;P2P平台非法集资行为刑事规制的难点及对策[A];网络空间的秩序与责任——第二届互联网法律大会论文集[C];2017年
15 陈向聪;;P2P网络借贷在我国发展面临的法律风险及其规制[A];长安金融法学研究(第6卷)[C];2014年
16 于朝印;;P2P网络借贷法律监管政策倾向探析[A];长安金融法学研究(第6卷)[C];2014年
17 王斐民;周之琦;;P2P网络借贷平台:类金融机构的法律定位和监管[A];长安金融法学研究(第6卷)[C];2014年
18 中信银行法律保全部课题组;文建秀;;P2P网络借贷业务的法律风险分析及监管建议[A];长安金融法学研究(第6卷)[C];2014年
19 赵聪聪;;浅析我国P2P网络借贷平台的法律规制[A];长安金融法学研究(第6卷)[C];2014年
20 王海舟;陈兴蜀;王文贤;吴小松;;P2P网络电视系统内容污染安全问题研究综述[A];第十一届全国博士生学术年会——信息技术与安全专题论文集[C];2013年
中国博士学位论文全文数据库 前20条
1 彭建芬;P2P流量识别关键技术研究[D];北京邮电大学;2011年
2 李泽平;P2P流媒体分发与服务技术研究[D];电子科技大学;2010年
3 俞林;中国P2P网络借贷监管研究[D];武汉理工大学;2015年
4 刘力菡;我国P2P网络借贷平台的竞争策略研究[D];北京邮电大学;2019年
5 史正权;P2P网络借贷的运营模式、影响因素及风险管理研究[D];武汉大学;2014年
6 高见;基于P2P的僵尸网络及关键技术研究[D];北京邮电大学;2011年
7 张进;基于P2P的分布式虚拟环境中的时空一致性[D];中国科学技术大学;2008年
8 眭鸿飞;P2P匿名通信系统关键技术研究[D];中南大学;2004年
9 周瑛;基于P2P技术的网络蠕虫防御机制研究[D];重庆大学;2007年
10 李伟;P2P文件共享系统效率和公平性研究[D];北京邮电大学;2013年
11 韩志杰;基于P2P的流媒体若干关键技术研究[D];苏州大学;2009年
12 田春岐;P2P网络信任模型的研究[D];北京邮电大学;2007年
13 赵丽娜;基于P2P网络环境的网构软件相关技术研究[D];浙江大学;2007年
14 左敏;P2P对等网系统软安全若干关键问题研究[D];上海交通大学;2008年
15 王冰;人工蜂群算法的改进及相关应用的研究[D];北京理工大学;2015年
16 浮婷;算法“黑箱”与算法责任机制研究[D];中国社会科学院研究生院;2020年
17 王艳娇;人工蜂群算法的研究与应用[D];哈尔滨工程大学;2013年
18 李美安;普适分布式互斥算法及应用[D];电子科技大学;2007年
19 王小根;粒子群优化算法的改进及其在图像中的应用研究[D];江南大学;2009年
20 林怀清;P2P网络多维模糊信任模型研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前20条
1 尹欢一;基于皮尔森系数距离权重KNN算法的P2P流量分类方法研究[D];湖南工业大学;2019年
2 吴限;P2P环境内容分布服务算法研究[D];广西大学;2006年
3 刘振;商务智能应用中数据挖掘KNN算法的改进与高性能程序的实现[D];浙江理工大学;2013年
4 张卓;KNN算法的改进研究及在外卖软件中的应用[D];大连交通大学;2020年
5 许佩迪;基于聚类与区域划分的改进KNN算法[D];吉林师范大学;2020年
6 王楠;基于KNN的改进算法研究及其在图像去噪的应用[D];广西师范学院;2016年
7 谭静;基于机器学习的P2P流量识别算法研究[D];河南理工大学;2014年
8 余林路;基于蚁群算法的P2P文件共享系统的研究[D];华南理工大学;2010年
9 赵晶晶;基于数据挖掘的P2P流量识别算法研究与实现[D];北京邮电大学;2009年
10 杨营辉;基于密度的样本裁剪算法的改进及在kNN中的应用研究[D];重庆大学;2010年
11 陈德强;基于改进KNN算法的图像分类研究[D];贵州民族大学;2020年
12 丁丹凤;空气检测设备中KNN算法的研究与实现[D];上海应用技术大学;2020年
13 陈必盛;基于社交网络的P2P内容分发算法研究[D];中山大学;2012年
14 蔡霖;基于迁移学习的P2P流量识别研究[D];北京邮电大学;2014年
15 车浩然;基于P2P的位置匿名算法的研究[D];北京交通大学;2015年
16 蔡孟翔;基于SVM的改进加权KNN算法对不均衡数据的分类与应用[D];安徽大学;2020年
17 张硕;基于KNN算法的空间手势识别研究与应用[D];吉林大学;2017年
18 孙可;基于稀疏学习和流形学习的KNN邻算法研究[D];广西师范大学;2016年
19 潘玉辰;基于蚁群算法的P2P型教育资源网络检索研究[D];华中师范大学;2013年
20 汪清涟;一种改进蚁群算法的P2P网络信任模型研究[D];安徽农业大学;2013年
中国重要报纸全文数据库 前20条
1 上海金融与法律研究院项目研究员 刘远举;P2P金融的兜底模式何以规避风险[N];经济观察报;2014年
2 本报记者 胡中彬;P2P估值攀高 自融者浑水摸鱼[N];经济观察报;2014年
3 本报记者 陈秀月 实习生 陈冠华;国开行玩另类银行系“P2P” 开鑫贷省外“开花”难?[N];经济观察报;2014年
4 本报记者 张云;保险牵手P2P 是商机还是危机?[N];经济观察报;2014年
5 本报记者 白晶;揭秘P2P股票配资玩法[N];经济观察报;2014年
6 本报记者 胡群;银行分食P2P托管 第三方支付还有戏吗?[N];经济观察报;2015年
7 胡中彬;P2P继续爆棚 股权众筹待冲天[N];经济观察报;2015年
8 ;P2P金融拿什么“剩者为王”[N];经济观察报;2015年
9 本报记者 胡群;P2P托管或鼓励银行、第三方支付“结合”[N];经济观察报;2015年
10 本报记者 胡群;P2P存管:投抱银行[N];经济观察报;2015年
11 本报记者 吴侨发;资产荒倒逼 P2P收集金融牌照[N];经济观察报;2015年
12 本报记者 仇子明;项目年化收益率最低11% 上市公司扎堆P2P网贷[N];经济观察报;2014年
13 本报记者 胡群;A股资本抢食P2P抬升估值 下半年趋势将继续[N];经济观察报;2015年
14 记者 钟源;P2P合规检查进入年底冲刺阶段[N];经济参考报;2018年
15 郭施亮;P2P加速洗牌 资金会否流入股市?[N];金融投资报;2018年
16 本报记者 徐隽;P2P网贷机构已暂停校园贷[N];人民日报;2018年
17 本报记者 庄会;鑫合汇清理平台资产 中国华融或介入P2P不良资产处置[N];中国经营报;2018年
18 证券时报记者 刘筱攸 张雪囡;P2P资金紧张已大幅缓解[N];证券时报;2019年
19 本报见习记者 刘伟杰;P2P行业号称“年薪百万” 如今日子难过[N];证券日报;2019年
20 本报记者 包兴安;P2P整治加码 网贷存量规模将萎缩[N];证券日报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978