才见昆明耍大刀,
又闻东莞闹爆炸。
神州处处说恐怖,
奈何反恐无方法。

这打油诗,是我对这两天的热点事件的感受。由于经常出没火车站,又身处西南,因此昆明事件对我造成了较大的影响。于是我问道:打击恐怖暴力固然重要,如何预防它难道不是更加重要?(语言暴力者据此认为俺同情砍杀赤手空拳群众的暴恐分子,认为这个时候问为什么是别有用心等等。我在这里顺便拉下仇恨:把911与昆明事件相提并论者是蠢货;把新疆人与中国人对立者是白痴;一味相信官方说法者是脑残。)

刚好,今天有不同线索提到:如何用大数据预防暴力恐怖事件?我简单思索了一下,基础数据整合是最大难题,预测模型反倒在其次。

感谢互联网的万能,我很快就从朋友那里听到一些有用的信息。不成熟的idea暂且不提,简单给你介绍下Palantir。

Palantir名称来自《指环王》,是一种神奇的石头,可以可以帮助人们建立与其它石头的联系,从而可以看到附近的图像。源自支付巨头PayPal的Palantir创始人,试图利用“神奇石头”的理念,通过收集大量数据,帮助用户发现事物之间的关键联系,并最终找到复杂问题的答案。

Palantir的基本思路最初用于PayPal的反欺诈。因为严重的网络欺诈行为水平非常高,即使你不断调整算法,对手仍然会通过灵活的应对策略逃过你的追击。因此,需要更加灵活的反欺诈措施。所以,Palantir 平台把人工算法和强大的引擎整合起来,像好莱坞间谍恐怖片里的软件那样,可以同时处理大量数据库,并向用户提供搜索引擎式的多种快速浏览查询方式。

假设需要模拟底特律出现大规模大肠杆菌传染病,Palantir 上可以看到疾病爆发的大致日期、以及受害者在两家不同的连锁商店里购买了肉食。通过 Palantir,可以找到该地区所有的商店和肉食分销商,然后把从相同分销商那里进货的商店进行隔离,最后经过筛选,发现传染源来自两家分销商。(你可以在Palantir官网上观看这段视频Demo。)

这虽然不是反恐,但背后蕴藏的技术是完全类似的。以前我就设想过,假如把公安系统的人口数据库、城市管理的天网系统、居民小区的视频监控系统等庞大数据库连接起来,将可以产生很多应用场景。上次和朋友聊天,她提到她更进一步的设想:视频系统前端可以安装微型计算机,使信息在前端实时调用后台大数据系统进行更有效的监控处理。

现在的问题是,这些数据种类繁多,难以直接建立联系。即使通过行政命令等手段,强制让现有的计算系统互联互通,搜索查询处理所需的时间也会漫长到用户无法忍受。何况,这些数据如何进行清洗、整合和归并,如何进行预测建模,存在很多难以确定的未知数。而据说,Palantir能够将这些纷繁的数据进行分析整合,然后对相关信息进行确认。

Palantir是一个产品化的平台,来自政府的业务占到了 70%,其余业务主要来自私人金融机构,已经应用在反恐战争、网络间谍、经济刺激计划执行情况等领域。

可以说,哪里有危机,哪里就有 Palantir 的用武之地。而我们如果有Palantir,昆明事件或许就不会发生了。

下面是Palantir平台上的索马里海盗攻击热点图。从这张图上看,它应该没有传说中那么神奇。

Palantir相关信息根据网络资料编写。限于时间,延伸阅读材料就不列举了,请自行搜索。好在,Palantir相关的内容,中英文加起来也没多少 :)。