收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向河湖空间大数据的混合架构存储与检索系统研究及应用

江穹峰  
【摘要】:河湖管理与保护是促进人与自然和谐共生、加快推进生态文明建设的有效措施。近年来,随着卫星遥感、物联网、智能传感监测等技术的不断发展,河湖空间数据体量呈爆炸式增长,且其数据类型多样、格式繁杂、结构复杂、时间空间交错。河湖空间大数据的有效存储、管理和检索面临巨大的挑战,同时对数据并发访问支持能力和安全可靠性也提出更高要求。进一步,国家关于河湖管理保护工程已上升至国家战略层面,长江大保护、河湖长制均涉及流域河湖空间管控。因此,亟需开展河湖空间大数据智慧管控研究。本文以河湖空间大数据存储与检索为突破点,开发面向河湖空间大数据的混合架构存储与检索系统,解决了海量多源异构数据的高效存储与检索、并发访问支持等问题。建立多源异构数据统一接口规范,实现有序共享、适度开放、安全可靠的河湖空间大数据共享新机制。在推进长江大保护、推动河湖长制全面见效、实现河湖精细化管理方面,具有重大理论研究价值和工程应用价值。论文的主要研究内容及创新性成果如下:(1)在结构化数据存储方面,结合水利及地理信息相关国家及行业技术规范,采用“一数一库”的模式对现有涉水管理系统进行迁移集成,避免观测数据的重复采集和存储,提高数据一致性,便于各个子系统之间数据共享;(2)融合HBase和MongoDB实现栅格影像数据存储与检索,基于HBase的瓦片金字塔存储,实现数据快速可视化展示与查询;基于MongoDB文档模式的元数据模型,简化元数据描述;同时结合Elasticsearch搜索引擎建立元数据全文索引,提供精确匹配、模糊查找、范围查询等多种检索方式;(3)建立基于GeoJSON和MongoDB的空间矢量要素存储模型,构建空间索引、设计辅助索引来加速数据查询、筛选和过滤;设计分片复制集群环境下的分片策略,均衡数据分布与查询效率之间的矛盾;(4)针对河湖空间海量数据管控需求,构建基于大数据技术的混合架构系统,实现河湖空间多源异构数据的管控,提供统一的数据传输与检索接口,加强数据之间的互联互通;同时,提供系统并发访问的支持,保证数据的安全可靠性。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 ;黄委研究部署河湖执法重点工作[J];治黄科技信息;2019年03期
2 陈致泰;;河湖治理 路在何方[J];给水排水动态;2008年06期
3 张凤春;;全力整治“四乱”顽疾 还河湖健康美丽[J];中国水利;2018年22期
4 胡云;;深入开展“清四乱”行动 扎实推动河湖面貌持续改善[J];中国水利;2018年22期
5 焦泰文;;推进长江大保护 落实河湖长制 构建健康河湖体系[J];长江技术经济;2018年04期
6 赖舒静;;河湖污染现状与治理对策[J];住宅与房地产;2019年03期
7 ;河湖长制专栏约稿(征稿)函[J];水资源开发与管理;2019年02期
8 ;“五个强化”推行企业河湖长制[J];政策;2019年02期
9 ;我国向河湖管理顽疾宣战[J];长江技术经济;2019年01期
10 ;河湖长制专栏约稿(征稿)函[J];水资源开发与管理;2019年05期
11 缪建雄;;临泽县河湖长制工作典型经验探讨[J];农业科技与信息;2019年08期
12 林若箐;;贯彻落实全国水利工作会议精神系列评论之六:打好河湖管理攻坚战[J];河北水利;2019年03期
13 ;以河湖长制为抓手 强化河湖系统治理[J];中国水利;2019年11期
14 焦泰文;;做实河湖长制工作平台 为河湖长效管护提供强力支撑[J];中国水利;2019年10期
15 位铁强;;统筹协调 突出重点 强力推进全省河湖长制工作[J];河北水利;2019年07期
16 ;肖幼主任调研淮河流域皖、苏、鲁三省河湖管理工作[J];治淮;2019年08期
17 本刊编辑部;;为河湖长制安上信息化的“翅膀”[J];山西水利;2019年05期
18 位铁强;;提高认识 强化措施 扎实推进全省河湖管理工作[J];河北水利;2019年08期
19 李娜;;聚焦重点 高位推动 扎实推进河湖长制落地见效[J];河北水利;2019年08期
中国重要会议论文全文数据库 前10条
1 杨晖;王宇萍;杨磊;;再谈我国河湖生态长效维护与管理之策略[A];2019中国环境科学学会科学技术年会论文集(第二卷)[C];2019年
2 苏成斌;;上海市河湖休养生息实施方案研究[A];2019(第七届)中国水生态大会论文集[C];2019年
3 沈炜彬;张文琦;;杭州美丽河湖多元化建设研究[A];活力城乡 美好人居——2019中国城市规划年会论文集(08城市生态规划)[C];2019年
4 田传冲;陈玥;卢婉莹;刘蔚;范云柱;;城市河湖景观综合规划要点与功能分析[A];2015第七届全国河湖治理与水生态文明发展论坛论文集[C];2015年
5 江波;蔡金洲;杨龑;陈蕾;;河湖水环境问题及管理和治理模式[A];2018(第六届)中国水生态大会论文集[C];2018年
6 ;城市河湖景观综合规划设计要点与功能[A];2015第七届全国河湖治理与水生态文明发展论坛论文集[C];2015年
7 孙智一;季钰;曹蕾;;河湖水系连通工程对哈南工业新城规划的影响研究[A];2018(第六届)中国水生态大会论文集[C];2018年
8 李鸿业;孙磊;;浅析河湖水系连通工程的发展及其影响[A];2017第九届河湖治理与水生态文明发展论坛论文集[C];2017年
9 董建伟;高国明;;吉林西部河湖连通面临的主要生态环境问题[A];湖泊湿地与绿色发展——第五届中国湖泊论坛论文集[C];2015年
10 高强;唐清华;;河湖水系连通理论及其在广州市亚运治水中的应用[A];2014中国水管理、水处理及再生水利用技术论坛论文集[C];2014年
中国博士学位论文全文数据库 前3条
1 蔡宝峰;吉林西部地区河湖连通工程生态系统服务价值优化模型研究[D];吉林大学;2019年
2 孟万忠;历史时期汾河中游河湖变迁研究[D];陕西师范大学;2011年
3 许海;河湖水体浮游植物群落生态特征与富营养化控制因子研究[D];南京农业大学;2008年
中国硕士学位论文全文数据库 前10条
1 沈钰;基于特征的无人机河湖图像智能处理系统[D];南京师范大学;2019年
2 江穹峰;面向河湖空间大数据的混合架构存储与检索系统研究及应用[D];华中科技大学;2019年
3 殷瑜霞;基于大数据平台的河湖形态变化评估关键技术研究及应用[D];华中科技大学;2019年
4 李丽;南渡江河湖水系连通系统评价研究[D];海南大学;2017年
5 郭佐卿;贵州地区喀斯特河湖水系连通生态环境响应机理研究[D];贵州大学;2019年
6 周佳林;FEST系统在城市河湖水质可持续保障中的应用[D];河南大学;2018年
7 王欣;海口市河湖水系连通与水动力水环境研究[D];华南理工大学;2018年
8 舒刚;安徽省河湖休养生息研究[D];安徽农业大学;2017年
9 李岱;北京城市河湖水华防治措施效果研究[D];清华大学;2017年
10 冉辛宁;河湖连通在城市水环境综合治理中的应用研究[D];安徽建筑大学;2018年
中国重要报纸全文数据库 前10条
1 记者 黄顺 通讯员 杨磊;我市为耕地河湖休养生息制定“时间表”[N];淮北日报;2019年
2 记者 赖婉莹 通讯员 赖惠芳;引导各界主动参与河湖治理[N];东莞日报;2019年
3 记者 许珂;351处河湖“清四乱”问题全部销号[N];衡阳日报;2019年
4 记者 杨楠;美丽河湖为城市增姿添色[N];湖州日报;2019年
5 记者 唐国宏;省河湖长制第三督查工作组到我市督查[N];绥化日报;2019年
6 记者 武芳 通讯员 冀红叶 王晓燕;我市公布市区河湖水系8月份管护情况[N];许昌日报;2019年
7 记者 马一萍;青铜峡市推进河湖长制从有“名”向有“实”转变[N];吴忠日报;2019年
8 记者 张婧萱 通讯员 白皓;保护水环境 依法打击涉河湖领域违法犯罪[N];天津政法报;2019年
9 记者 杨洋;省政协领导督察我州河湖长制工作[N];楚雄日报(汉);2019年
10 记者 王尚华;坚决打好河湖保护治理这场硬仗[N];闽西日报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978