收藏本站
《浙江工业大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

面向交通定位数据的可视清洗系统

刘春辉  
【摘要】:随着近年来机动车保有量的持续增加和城市公共交通系统的逐步完善,渐渐积累了海量的交通定位数据。在如今的大数据时代,结合可视化和可视分析的方式可以有效的摸索出城市道路的通行规律,但是,由于采集设备故障和传输网络延迟,原始交通定位数据中散布着大量脏数据,而传统的数据清洗工具主要应用在小规模的结构化数据上,面对海量存储且高维度的交通定位数据已难以应付。为了解决上述问题,本文设计了一种基于web平台的数据可视清洗系统,对不同种类的脏数据给出了不同的检测和处理方法,并通过人机交互的方式,让用户控制脏数据检测的手段和清洗的强度。本文的主要工作和成果如下:(1)非异常脏数据清洗。本文将交通定位数据的非异常脏数据种类分为属性缺失数据、重复数据和错误数据,并分别为其选取了不同的检测方法和清洗手段,保证了各种非异常脏数据都能得到合理有效的处理。(2)异常数据检测与处理。针对数据库无法识别的异常数据,系统首先利用多种可视化视图组件方便方便用户进行探究,然后提供异常数据的挖掘和处理工具,结合多种交互方式,从多个角度对数据的异常可能进行判定。(3)数据可视清洗系统架构设计。系统搭建基于B/S架构设计,运行时不必局限于指定的操作系统和运行环境,在清洗操作前完成了多项预处理工作,在浏览器绘制中,引入了React.js技术加速绘制,有效提高了可视分析的效率,减少了用户的使用成本本文最后以杭州市出租车GPS数据为例,结合本文系统提供的数据清洗方法和功能,对其做了全面有效的清洗工作,利用速度流量像素图的效果变化验证了系统的有效性,最后,利用脏数据的分布规律为其产生原因的探索工作提供参考。
【学位授予单位】:浙江工业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13;TP393.09

知网文化
【参考文献】
中国期刊全文数据库 前7条
1 毛嘉莉;金澈清;章志刚;周傲英;;轨迹大数据异常检测:研究进展及系统框架[J];软件学报;2017年01期
2 陈晓燕;毛佳媚;李泽界;;城市公共自行车租赁数据的可视分析方法[J];计算机系统应用;2016年03期
3 谢文阁;佟玉军;贾丹;梅红岩;;数据清洗中重复记录清洗算法的研究[J];软件工程师;2015年09期
4 王铭军;潘巧明;刘真;陈为;;可视数据清洗综述[J];中国图象图形学报;2015年04期
5 何贤国;孙国道;高家全;郑春益;梁荣华;;出租车GPS大数据的道路行车可视分析[J];计算机辅助设计与图形学学报;2014年12期
6 杨博;刘大有;金弟;马海宾;;复杂网络聚类方法[J];软件学报;2009年01期
7 李慧,颜显森;数据库技术发展的新方向——非结构化数据库[J];情报理论与实践;2001年04期
中国硕士学位论文全文数据库 前2条
1 郑春益;大规模出租车OD数据可视分析系统[D];浙江工业大学;2015年
2 庞洪钦;基于Hadoop的出租车数据质量分析与处理[D];武汉理工大学;2015年
【共引文献】
中国期刊全文数据库 前10条
1 吴春国;李艳振;李瑛;高瑞;时小虎;;基于标签传播的重叠社区发现算法[J];大连理工大学学报;2018年04期
2 赵凡;蒋同海;周喜;程力;;基于时空特征的车辆加油行为可视化分析[J];计算机辅助设计与图形学学报;2018年06期
3 王超逸;;关于网络分层信息泄露点快速检测仿真[J];计算机仿真;2018年06期
4 方国栋;张育钊;;基于ZigBee技术的环境在线监测系统[J];现代计算机(专业版);2018年16期
5 高超;;复杂网络聚类及其在神经网络中的应用[J];电子技术与软件工程;2018年10期
6 徐丽丽;董一鸿;潘剑飞;陈华辉;;面向复杂网络的图稀疏算法综述[J];计算机科学;2018年05期
7 李敏茜;毛嘉莉;袁培森;金澈清;;基于卡口监测数据流的套牌车检测[J];华东师范大学学报(自然科学版);2018年02期
8 刘飞;张庭;;贝叶斯方法的基因调控网络在医学领域的应用[J];自动化技术与应用;2018年03期
9 李俊达;吴昊;毛秋宇;张复生;;基于工业物料系统的数据清洗流程[J];现代信息科技;2018年03期
10 龙浩;赵瑛;;基于关联度与引力的复杂网络社区发现方法[J];计算机工程与设计;2018年03期
中国硕士学位论文全文数据库 前2条
1 许玉萍;基于出租车轨迹数据的城市路网车速周期性探究[D];华中师范大学;2017年
2 刘春辉;面向交通定位数据的可视清洗系统[D];浙江工业大学;2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 郭文龙;;一种改进的相似重复记录检测算法[J];计算机应用与软件;2014年01期
2 孙国道;梁荣华;何贤国;蒋莉;于明远;;高维时空房地产数据的可视分析[J];计算机辅助设计与图形学学报;2013年08期
3 罗远;;城市出租车管理模式的改革建议[J];交通世界(运输.车辆);2013年06期
4 SUN GuoDao;LIANG RongHua;WU FuLi;QU HuaMin;;A Web-based visual analytics system for real estate data[J];Science China(Information Sciences);2013年05期
5 蒲剑苏;屈华民;倪明选;;移动轨迹数据的可视化[J];计算机辅助设计与图形学学报;2012年10期
6 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期
7 石晓凤;崔东旭;魏薇;;杭州公共自行车系统规划建设与使用调查研究[J];城市发展研究;2011年10期
8 刘良旭;乐嘉锦;乔少杰;宋加涛;;基于轨迹点局部异常度的异常点检测算法[J];计算机学报;2011年10期
9 张建中;方正;熊拥军;袁小一;;对基于SNM数据清洗算法的优化[J];中南大学学报(自然科学版);2010年06期
10 刘良旭;乔少杰;刘宾;乐嘉锦;唐常杰;;基于R-Tree的高效异常轨迹检测算法[J];软件学报;2009年09期
中国硕士学位论文全文数据库 前4条
1 卢本新;数据仓库数据质量管理的研究[D];大连理工大学;2013年
2 王洵;宏观统计数据质量评估实证分析[D];厦门大学;2013年
3 刘中超;数据中心的数据质量管理工具设计与实现[D];华中科技大学;2013年
4 苗润华;基于聚类和孤立点检测的数据预处理方法的研究[D];北京交通大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 文和;综合导航定位数据后处理研究[J];武汉测绘科技大学学报;1989年01期
2 齐珺;暴景阳;周丰年;;海道测量定位数据后处理的滤波算法研究[J];测绘科学;2010年S1期
3 齐珺;暴景阳;刘雁春;文庆生;成卫;;海道测量异常定位数据的实时检测技术研究[J];海洋测绘;2009年05期
4 杨帆;;通过定位数据做好汽车四轮定位[J];轻工科技;2013年03期
5 齐珺;暴景阳;刘雁春;曾敏;;一种基于方差分量估计的异常定位数据实时检测方法[J];测绘科学技术学报;2010年01期
6 魏奇;;飞行器单站突发定位数据修正技术[J];无线电工程;2011年09期
7 齐珺;暴景阳;黄晓杰;刘雁春;;海道测量定位数据后处理的拟合算法研究[J];海洋测绘;2010年04期
8 罗锡文;周志艳;李庆;张智刚;赵祚喜;;基于地图匹配的导航定位数据模糊校正算法[J];江苏大学学报(自然科学版);2006年05期
9 尤麦峰,闫鸿慧,梁计春;基于DSP的OEM板GPS定位数据处理[J];装甲兵工程学院学报;2001年02期
10 徐辉;张津舟;黄永辉;李咪咪;;一种基于音频信道传输数字定位数据的设计[J];电子设计工程;2016年06期
中国重要会议论文全文数据库 前10条
1 夏志忠;胡业勇;;自适应 GPS 定位数据发送的技术[A];全国飞机与船舶通信导航学术研讨会论文集(上)[C];2000年
2 王同合;岳春生;门葆红;龚有亮;宇超群;;一种嵌入式北斗导航终端定位数据快速存取方法[A];第三届中国卫星导航学术年会电子文集——S07北斗/GNSS用户终端技术[C];2012年
3 陆春玲;张伍;;GPS定位数据在海洋一号卫星中的应用与比较[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
4 张淑芳;;GPS模拟训练系统[A];船舶通信与导航(1995)[C];1995年
5 罗五明;韩平阳;;定位数据与数字地图的相对误差研究[A];中国地理信息系统协会第八届年会论文集[C];2004年
6 张健;林华;;利用MSCOMM控件进行GPS数据采集[A];广东省测绘学会第八次会员代表大会学术交流论文集[C];2005年
7 徐锐;胡永辉;侯雷;;基于GPS的授时服务器的设计[A];第三届全国虚拟仪器大会论文集[C];2008年
8 樊荣;李京校;徐鸣一;植耀玲;;数据库技术在闪电定位系统中的应用[A];S13 第十届防雷减灾论坛——雷电灾害与风险评估[C];2012年
9 孙宝来;;与高空气球跟踪定位有关的一组公式及其数学原理[A];中国空间科学学会空间探测专业委员会第十三次学术会议论文集[C];2000年
10 佘明生;;GPS定位数据在载人航天器上的应用[A];中国空间科学学会空间探测专业委员会第十一次学术会议论文集[C];1998年
中国重要报纸全文数据库 前8条
1 本报记者 郭涛;德衡数据定位数据中心基础设施服务商[N];中国计算机报;2017年
2 黄明安 董伟;丢失一组数据 输掉一场“战争”[N];解放军报;2003年
3 本报记者 李致鸿;首家信用保证保险获批开业 阳光信保定位数据型驱动公司[N];21世纪经济报道;2016年
4 颜正华;远在天边的城市[N];中国摄影报;2011年
5 祖奎 张瑾;“走到看到测到”实现动态监管[N];中国国土资源报;2011年
6 CUBN记者 刘末;车联网或走向爆发式增长挑战与机遇共存[N];中国联合商报;2015年
7 冉隆科;Wi-Fi 四大走势辨析[N];中国计算机报;2005年
8 ;WLAN“定位”[N];网络世界;2005年
中国博士学位论文全文数据库 前1条
1 赖见辉;基于移动通信定位数据的交通信息提取及分析方法研究[D];北京工业大学;2014年
中国硕士学位论文全文数据库 前10条
1 刘春辉;面向交通定位数据的可视清洗系统[D];浙江工业大学;2017年
2 伍其和;路桥工程中卫星定位数据的滤波算法研究与应用[D];电子科技大学;2018年
3 李萍;卫星定位数据的处理与分析[D];西安电子科技大学;2006年
4 李璐;基于室内定位数据的可视化系统设计与实现[D];山东大学;2017年
5 许智杰;用机载地空通信电台传输飞行器定位数据研究[D];华南理工大学;2012年
6 丁大钊;基于CDMA终端的GPS数据处理模块的设计及实现[D];解放军信息工程大学;2008年
7 方明;车载导航终端定位数据处理与应用层通信协议设计[D];吉林大学;2006年
8 杨志;基于GPS的车载定位系统设计与实现[D];华南理工大学;2012年
9 黄达;基于移动位置数据的城市交通状态分析[D];北京交通大学;2017年
10 谭姝;基于RCM2200实现GPS定位数据的网络传输和数据处理[D];南京航空航天大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026