基于ArcGIS镶嵌数据集的环境数据存储与管理

        环境保护部2016[23]文,发布了《生态环境大数据建设总体方案》,在通过的生态环境大数据总体实施架构设计方案(如下图所示)中,各种结构化、非结构化的环境数据的采集、处理和存储是环境应急与监管、科学决策大数据以及公众服务应用的基础支撑与保障。在生态环境大数据的建设中,通过数据中心建设,可以将各种结构化、非结构化的数据进行整合与集成,根据业务与数据类型来组织数据存储结构,对外提供统一的地图与功能共享服务,来满足各种在线环境监测、环境应急管理、环评监管业务以及数据挖掘与分析应用的需求。

        针对环保行业各种专业模型输出的各种气象、污染物、风场、监测数据,采用下图所示的流程进行模型结果数据的标准化和变换处理以及数据存储管理。

        上述的环保行业的各种模型输出数据具有栅格数据格式特点,同时具有时间、空间高度和平面位置多个维度信息,因业务需求计算模型在持续输出大量的数据,可以采用大规模影像数据的管理方案——镶嵌数据集,对各种模型输出数据以及遥感卫星监测、无人机影像数据进行集成管理。

        ArcGIS10.3提供了对多维数据的支撑,环保、气象、水文等行业的专业数据和模型与GIS的对接拥有了完善的解决方案,我们可以从原始不同来源和格式数据入手,包括各种多维数据,文本数据,以及来自于数据库的实时监测数据,经过清洗转换处理之后入库,然后发布成对应的服务,提供业务的展示分析和应用,满足了用户的模型数据的处理流程化和业务信息化的需求。

        基于镶嵌数据集的环境数据存储与管理具有以下特点:

  1. 支持多种栅格数据类型,包括常用格式影像、传感器原始影像、多维数据等;
  2. 丰富的影像批处理入库与更新维护工具,包括自动识别元数据、计算边界范围、生成金字塔、统计值和缩略图等;
  3. 采用“原始文件+元数据索引”的方式进行存储,数据入库速度极快,数据的备份很便捷;
  4. 支持用户控制镶嵌规则和方法,可以按需浏览影像数据;
  5. 影像实时处理技术,让用户实时得到影像处理结果,不用关心影像数据量的大小,也不会产生中间影像,节省了处理时间,减少了数据冗余。

        针对环保行业各种栅格化数据的存储管理,对于常规格式tif数据直接采用默认栅格数据集方式入库;对于其他类型的栅格数据,需要指定对应的“Raster Type”,并进行相关参数设置进行入库。下面就以环保行业各种气象、大气模型输出的多维数据为例,介绍多维数据存储和入库流程:

(一)气象、扩散浓度等多维数据的存储与管理

1)        创建镶嵌数据集,使用“Create Mosaic Dataset”工具,默认设置即可。

2)        使用“Add Rasters To Mosaic Dataset”工具进行浓度数据入库,注意nc数据的路径不能有中文,“RasterType”的下拉菜单中选择“NetCDF”,“Input Data”下拉菜单中选择“File”,单击下面的文件浏览按钮添加需要入库的nc文件。

3)        点击Raster Type 右侧的Raster Type Properties,勾选需要入库的变量数据。

(二)风场、洋流等多维向量数据的存储与管理

1)        创建镶嵌数据集,使用“Create Mosaic Dataset”工具,需要选择product definition(VECTOR_FIELD_UV)。

2)        使用“Add Rasters To Mosaic Dataset”工具进行风场洋流数据入库,注意nc数据的路径不能有中文,否则RasterType Properties中变量无法定义u和v变量,“Raster Type”的下拉菜单中选择“NetCDF”,“Input Data”下拉菜单中选择“File”,单击下面的文件浏览按钮添加需要入库的nc文件。

3)        点击Raster Type 右侧的Raster Type Properties,设置u的type为Vector-U,v的type为Vector-V。


转载自:https://blog.csdn.net/liuniu1101/article/details/74390647

You may also like...