GIS 中的数据工程：让 ETL 之旅开始

地理空间数据工程

GIS 中的数据工程准备用于分析的空间数据。例如，此过程会填充缺失值、添加字段、地理丰富和清理值。

通常，整个数据科学工作流程从数据工程和必要的ETL 工作流程开始。

数据工程方面可能是数据科学中最耗时的方面。但它也是分析中最关键的部分之一，因为它的好坏取决于我们输入的数据。

在本文中，我们将探讨地理空间数据工程的基本组成部分，并讨论它如何优化空间数据以进行分析。

数据工程中的关键术语

地理空间数据无处不在。它是许多数据驱动的关键业务任务的核心。从绘制财产边界到分析作物产量，地理空间分析可帮助组织理解其数据。

就像任何类型的数据一样，您可以进行常规流程，使您的数据科学家/分析师能够为您的业务团队提供洞察力。以下是通常伴随数据工程过程的一些关键术语：

数据仓库：来自各种来源的数据库的集合。它就像一个数据库，每个人都可以拥有多个数据仓库。

数据湖：非结构化数据的存储库。将其视为数据的倾倒场。

DATABASE ：表、列和行形式的结构化数据。

数据管道：一系列任务，每个任务都对一个数据集进行操作，将数据从一个系统传送到另一个系统，通常是为了分析目的收集、存储和处理数据。

EXTRACT, TRANSFORM, LOAD (ETL) ：从一个系统中提取数据，将其转换为另一个系统可以使用的格式，并将其加载到最终系统中用于业务分析的过程。

阅读更多： 10 门数据工程师在线学习课程

ETL——提取、转换、加载

ETL（提取、转换加载）是一系列流程，可让数据为分析和业务洞察做好准备。它将数据作为管道项目从一个数据库移动到一个或多个数据库。

你可以把ETL想象成一场接力赛。数据在某一点进入系统，并在那里进行转换。然后，它从一个跑步者传递到下一个跑步者，直到它到达最终目的地。

过程	描述
提炼	此过程从通常未针对分析进行优化的源系统获取数据。
转换	此步骤通过过滤、聚合、组合和清理数据来准备数据以获得有价值的见解。
加载	将数据加载并共享到内部或外部应用程序，例如 Tableau 等数据可视化平台。

尽管 ETL 是最常见的数据管道形式，但一些公司更喜欢 ELT，其中加载过程先于转换过程。

数据工程工具

数据工程是从各种来源收集数据并创建将数据从其原始来源移动到数据仓库的数据管道的过程。尽管空间分析是许多数据驱动过程的核心，但地理空间分析可能具有挑战性且乏味。

尽管增加了复杂性，但在过去几年中，GIS 中的数据工程越来越受到关注。以下是一些原生支持地理空间数据的关键数据工程软件应用程序。

雪花

Snowflake 是一个基于云的数据仓库和数据湖，它从各种来源收集数据。它是一种软件即服务 (SAS)，可实现可扩展的数据存储和处理。同样，它提供了更快速、更易于使用的灵活分析解决方案。它自己的 SQL 查询引擎是专门为云设计的。 Snowflake 支持的一些地理空间数据类型包括 GeoJSON 和 PostGIS。

阿帕奇气流

这个基于 Python 的开源 ETL 工具专为构建和准备数据管道而设计。每个进程都是一个用有向无环图 (DAG) 表示的任务，它将进程从一个进程连接到另一个进程。此外， Apache AirFlow拥有一套独特的工具，可让您编写、调度、迭代和监控数据管道。

特征操纵引擎 (FME)

SAFE Software 的 FME的核心是空间 ETL 专家。通过利用 FME Cloud，它是一种控制数据流的灵活解决方案。但它也允许您在其云基础设施之外工作，例如使用 AWS。通过读取器、写入器和转换器构建工作台，您可以通过地理空间格式的最大互操作性来完善 ETL 过程。

阅读更多： FME 软件——特征操作引擎（评论）

变色龙

这是数据工程工具的另一个示例，您可以在其中将作业作为 DAG 执行，就像 Apache Airflow 一样。 Alteryx专门执行 ETL 处理。这意味着您也可以从其他来源提取和丰富数据。最后，您可以将转换后的数据移动到 Snowflake 或任何基于云的平台。

弹性搜索

Elasticsearch 是一款免费的开源工具，用于搜索和分析所有类型的数据，包括文本信息和其他数据类型。该数据工程工具也广泛用于 GIS 集成，因为它将Elastic Maps 应用程序与 Kibana 相结合，允许您分析和可视化地理空间数据。

数据块

Databricks Geospatial Lakehouse 是一个用于大规模空间数据科学和协作的数据工程平台。 Databricks是数据工程领域的主要参与者之一。您甚至可以通过 CARTO Spatial Extension for Databricks 连接到其中一个，以挖掘甚至无声的潜力来解锁云中的空间分析。