空间数据挖掘与空间大数据的探索与思考(五)

空间数据挖掘与空间大数据的探索与思考

如果按照互联网所谓的大数据特点来说,空间大数据,GIS领域大部分的传统数据都不算是实际意义上的大数据。

我国从各个方面来说,都是一个大国,所以有各种大国的幸福和苦恼,特别是对于我们做GIS的人来说。

比如地理国情普查,比如二调,比如农地确权,960万平方公里,十几亿人,生成的数据量都是极度庞大的,比如农地确权:

农地确权是以农户为单位发证,以地块为单位制作数据的,所以全国上来,预计超过15亿个地块(三至四亿农户,户均3-5个地块)。

这种数据量,比之互联网,也不遑多让,而且论数据的复杂程度,也不遑多让:

但是,是不是互联网意义上的大数据呢?
我的答案为:不是。

因为农地确权数据缺少了互联网大数据的一些特性,比如快速的生成、传播、变化,比如低密度,比如易变性和变异性,比如非精确性的描述和分析(非精确性不代表不准确,而是代表了置信度区间),这样就导致了这些数据可以认为是广义上的大数据,但是并非互联网意义上的大数据。

而要谈真正互联网意义上的所谓空间大数据有哪些呢?我认为空间大数据与互联网真正接壤的有两大类。

第一类是遥感影像产品。

第二类是LBS信息,LBS就是基于位置的服务,它由三个维度组成:

 空间数据,没有空间数据就不能称为基于位置的数据
 时间数据,如果没有时间数据,那么这个数据就是个静态的数据,失去了变化,也就成了死的数据。
 唯一ID,当然还可以附加其他信息。

我们来看一下哪些是LBS信息。最狭义的LBS信息就是来源于类似GPS记录信息,比如各种行车记录仪、全站仪和智能手机等,这个数据会使用绝对的经纬度信息来标识位置;

第二类是公交车的刷卡记录,这份数据会告诉你在什么时间、坐的哪一趟车、从哪一站上车和哪一站下车,它没有明确定位经纬度坐标,但是可以明确站台的信息,而站台也是一种个位置,是通过站台挂接唯一ID给出的

第三类LBS信息是电商物流日志信息,这一类信息没有很详细的位置描述,他的日志里面所记录的位置,区域可能非常之大,但是不妨碍你对它的解读和使用;

接下来一类LBS信息是微博、微信、足迹相片,这种社交数据。根据最新的统计,除去发布带有确切位置的社交信息以外,还有最少三分之一以上数据能够通过算法识别出所在的地理位置。

比如我现在在武大拍张武大校门口的相片发一条状态,就算没有加上定位,那么通过那张相片就能识别我在什么位置。当然这种识别可能是很不精确的,也恰恰是这种不精确的识别,才更有价值。

如果说农地确权数据的精确性是通过各种技术手段来保证的(比如测绘工程学,数据质量检查,逻辑拓扑等),这种非精确性的获取数据及其位置,才是未来计算机智能化发展的一个趋势。

当然,还包括很多其他类的信息,比如气象站点、智能电表、监控摄像头和设施传感器等等。任何一类具有时间、空间和标识的信息,都是LBS信息。

这里多说几句关于智能电表情况,这个概念是从德国开始的,在物理学上任何一种电器在接入电网时,会在电网上会发送一个信号,这个信号称之为电流浪涌。就是断路瞬间接入开路的时候,电流会发出一个波动,因为每一种电器接入电网的时候,功率和工作模式是不一样的,比如微波炉和手机充电器在接入电网的时候,发送的信号波动肯定也是不一样,所以这个电流浪涌称为电器的指纹。通过这个电流浪涌的波动就知道家里面在什么时候用了什么电器。如果突然发现电器插入电流发送的信号和平常不太一样,就会知道电器可能需要换了,这样还可以把这个信息卖给电商,然后电商会给你寄微波炉的优惠券,说你家的微波炉快要换了等等的。

我们再来看一下空间大数据可能会有一些什么样的作用。这里有一个很简单的分析案例,图中每一个蜂窝网格都代表一个手机信号基站提供的服务区,服务区内绿色的点是手机,由此可以知道某一区域为哪些手机提供信号服务。

当某个服务区内发生了某种案件,而当收集到足够多的数据,把她们做一个简单的交集就会发现,某一区域内发生某种案件的时候,某一个(或者多个)手机信号会重复再重复出现,那么持有这个手机的人可能就是嫌疑人。

当然,实际上案件的侦破并没有这么简单,可能你计算出来的结果只是一个巧合,或者有几百几千个信号源都符合这种规律怎么办?所以数据分析实际上在这里给出的是一个非精确性的可能。

这些分析手段和技术,并非是直接解决这类问题,而主要是提供另外一种思路,比如利用这种分析,能够从若干嫌疑人中,筛选出符合条件的,进一步缩小侦查范围。也有可能是抓获了犯罪嫌疑人后,利用这种技术,来进行验证和举证,减少冤假错案的可能。而且目前在国际上,此类犯罪分析手段,已经可以作为证据链的一部分,出现在法庭上,作为呈堂证供了。

当然,也有人说,能不能用这些手段,去预测某些事情的发生呢?答案当然是有可能,是仅仅是可能而已,真正数据分析对于预测给出来的是一个非常模糊的区间,比如下面这个例子:

我如果能够完美的收集到每一滴水的位置,那么能否(精准的)预测下一滴水会落在什么地方呢?答案当然是否定的,因为不可控的因素太多了,所以最多能够给出一个可能出现的区间答案。

但是,如果我完美的收集到了每一滴水的位置,那么一定能够做到的,就是通过这些位置,反推出喷头的位置。

所以,很多小说里面,对于智者的解释就是:足够多的情报与信息,加上合理以及精确的推理计算,就能做出近似乎预言一般的判断。



转载自:https://blog.csdn.net/allenlu2008/article/details/79649934

教程目录

You may also like...