【互联网数据抓取与挖掘案例】快来体验FME：零编码、快速、自由获取数据

　　【互联网数据抓取与挖掘案例】快来体验FME：零编码、快速、自由获取数据

　　推广：《城市数据师梦想特训营》原创大牛公开课报名详询

　　互联网开放数据以在线的方式让所有人可以访问和获取，这些数据充满无限可能性。本章将介绍FME在互联网数据抓取与挖掘方面的几个应用案例，带大家一起体验FME零编码、快速、自由抓取数据的优势。

　　案例一：FME与微博

　　FME目前已经提供对网络数据的处理能力，包括JSON、XML格式，甚至直接发送和接收TCP/IP协议的数据流。下面展示如何将抓取新浪微博的数据，并将其展示到地理信息平台上。

　　新浪微博提供开发式API，允许用户对来自微博数据进行读取，对于如何使用微博API，参考。我们选取了某一个位置，通过调用微博API，抓取附近某个范围内最新的微博消息。使用FME中的PythonCreator脚本，抓取微博数据。

　　

　　返回的JSON数据格式如下：

　　这样的结果是无法很好的被利用的，因此，我们在通过FME的转换器完成了数据整理工作，提取出我们感兴趣的信息，并将发送微博的位置信息空间化，直接发布到ArcGIS Online上进行展示。

　　

　　

　　展示效果如下：

　　

　　取微博数据这里我们使用了一小段python脚本，但其实我们可以直接使用FME的HTTPCaller来访问API接口，这样使得整个过程可以真正零代码。

　　

　　案例二：零编码抓取POI数据

　　基于网页的API接口获取数据类型多样，高德、腾讯、百度等地图厂商都提供了POI数据的API接口。

　　这里以高德poi数据为例子,详细api说明可参考:

　　.

　　1.提取poi数据的模板编写思路

　　根据官方的使用说明,对发送的请求连接做相应的组合如下:

　　固定网址+查询范围+用户许可+poi类型+每页poi数量+翻页数量

　　官方示例如下:

　　,40.006919;116.48231,40.007381;116.47516,39.99713;116.472596,39.985227;116.45669,39.984989;116.460988,40.006919&keywords=kfc&output=xml&key=

　　编写FME模板构建数据访问链接、请求数据、解析数据并对数据做处理，输出得到想要的结果。

　　

　　FME POI下载模板

　　下载运行情况：

　　1）使用CMD运行FME模板下载广东省(包括香港澳门)的poi, fme发出了105万次访问请求,返回470多万条数据。

　　2）将FME模板挂在阿里云服务器上，大约花了三天二夜的时间，下载了整个广东省以及香港澳门的poi，累计发送125万次访问请求，返回522万条poi数据.

　　使用CMD来运行FME模板还有一个好外,就是低配置机器也可以运行处理大量数据流

　　数据结果展示：

　　

　　同样的方法可以应用到下载谷歌影像、高德瓦片、百度POI等等具有API接口的开放数据中。实现批量、零代码、无人值守的开放数据下载模式。

　　案例三：FME与即时通讯工具的互操作

　　FME运行方法的多样性。到底选择DESKTOP、SERVER、还是CLOUD？如果有一种另类的操作方法并颠覆以前的观点，会产生什么样的想法？

　　常规的FME操作，在与FME Server的操作中，通过的中介是浏览器，在浏览器界面来设置参数后运行得出结果。在与DESKTOP的操作中，使用的是Workbench或Bat来设置参数后运行得出结果。如果有另外的操作方式，要如何来实现。

　　在中国，QQ是最大的即时通讯工具，它垄断了90%以上的即时通讯市场。QQ是国人网络中不可缺少的工具。在常规的GIS数据处理中，FME、ARCGIS、CAD都是主流软件。其中FME又是最为快捷方便的数据处理软件。如果把QQ和FME结合在一起，让QQ来运行FME的模板，会是一个什么样的结果？不可思议还是异想天开吗？哦！这是要用蓝翔的挖掘机炒一锅新东方的菜！

　　经过一段时间的测试与修改，真的实现了用QQ运行FME模板的方法。实现的方法为群聊执行和*敏*感*词*执行，以下是几个例子。

　　第一个例子，下载全国的公车线路信息。

　　

　　这里的意思，是给QQ机器人发送一条指令，第一行是执行模板的名称，第二行是此模板的对应参数。上图是让QQ机器人执行BUS.FMW，此模板的功能是下载全国的公车线路站点，用到的参数是城市和线路。比如上面就是让QQ机器人下载广州的776公车的线路和站点。

　　如何看运行状态？输入bus+查询，会出现如下截图所示：

　　根据QQ机器人返回的连接下载，加载到谷歌地球上，看看效果如下图：

　　

　　完全没有问题，FME和QQ的结合，真的做到了！！！我们可以把任意的模版通过与QQ机器人的进行交互运行，包括POI数据下载、处理勘测定界数据等等。

　　用QQ操作FME来运行模板是如此的方便，这会让你惊讶吗？当初有这个想法的时候，感觉太可怕，但有想法就行动去测试，万一实现了呢。。。

　　FME就是这样的神奇！！！

　　感谢本篇中“案例二：零代码抓取POI数据”和“案例三：FME与即时通讯工具的互操作”的提供者“千浪”。