五分钟学GIS | 大数据之分布式空间分析服务

分布式空间分析服务是什么

   分布式空间分析服务是SuperMap iServer 9D中新增的一个扩展模块,其利用Spark分布式计算方式,对超大体量的空间数据进行各种分析。可接入分布式存储的地理数据,如 HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)存储的数据、iServer DataStore 中存储的关系型数据、以及 UDB 中存储的点线面数据。其提供强大的空间分析能力,例如大数据的地图出图、分析与管理。所有功能提供 REST API,方便开发与扩展。

优点

   性能非常高 
   分布式空间分析服务利用Spark分布式计算方式,将一个分析任务分解为多个子任务,最终通过分布式计算快速得到结果(如下图)。 
 
可接入多种数据来源与格式参与分析 
   支持共享目录方式,支持HDFS目录,支持企业级空间数据库(Oracle,PG-XL)等,数据格式支持UDB,CSV,Execl,GeoJSON等。 
多终端的快速使用 
   iClient , iDesktop产品可直接调用,并以可视化方式展示大数据分析任务的执行过程与结果。 
扩展性高 
   分析节点的横向扩展非常方便。想要提高效率,只需增加处理节点,启动一台iServer,加入集群,注册数据即可。 
部署简单 
   iServer 9D内置Spark分布式计算框架,部署分布式分析服务集群十分简单,不需要有分布式相关知识。搭建过程同搭建集群类似,完全可视化操作,只需三步: 
   1.勾选开启iServer集群服务。 
   2.勾选开启iServer分布式分析服务。 
   3.将iServer节点加入集群并勾选参与大数据分析选项卡即可。

适用的场景

1.传统空间分析处理时间长,想要大幅度提高处理效率。 
例如:某项目中,2261万条纪录面(68.3GB大小)与3502平方公里的不规则面叠加分析,传统分析(机器:32核CPU,64GB内存)需要42.5分钟,而采用分布式计算模式(机器:4台4核CPU,16G内存机器)只需2.1分钟,性能提升20倍。

2.传统方式处理不了的数据内容。 
例如:10亿点和1000W个面进行聚合,使用传统模式处理不了这种级别的数据。

3.项目适应未来技术趋势,即对传统数据进行分布式存储,分布式计算,实时数据处理,非结构化存储等。

GIS应用案例

SuperMap iServer 9D采用4节点集群方式,每节点配置32G、4Core,采用A+B数据方式,进行大数据量的空间分析(点聚合分析功能):

上一篇:一张图看懂三维GIS

下一篇:iMobile中三维数据的性能优化

相关资源

  1. 宋关福:GIS软件技术四大升维带来全新应用价值
  2. GIS技术升维,赋能军事应用再上新台阶
  3. 郭仁忠院士:GIS是智慧城市的操作系统
  4. 深圳大学与超图集团签订智慧城市操作系统研发合作协议
  5. 2018 GIS 软件技术大会倒计时6天
  6. 国际政府考察团赴超图调研

发表评论

您的电子邮箱地址不会被公开。

CAPTCHAis initialing...