采集工具(网络爬虫和数据采集技术有什么区别？怎么做？)

　　采集工具(网络爬虫和数据采集技术有什么区别？怎么做？)

　　采集工具比较多。用的比较多的有：百度apilink、灵集数据、magicyuan万方数据、汉王数据等等，我觉得magicyuan万方数据比较不错，有点类似gis云平台，站点是免费的，还可以通过免费获取数据。我也是通过magicyuan万方数据采集过来的。

　　采集方法从总体来说就是两种：网络爬虫和数据采集技术。网络爬虫目前成熟的有各大搜索引擎的爬虫都是一样的原理，这种采集方法我个人是非常不看好的，对采集者来说就是一个重复消耗的工作，对服务器要求太高，而且对采集源做到有效清理。数据采集技术，就如一楼所说的，数据采集技术从大数据发展开始就一直存在，数据的采集主要有url抓取和元数据采集。

　　url抓取是寻找大量的采集源对用户采集方式做一个改造，用于内容的采集，这种采集方式在万维网时代有很长的历史了，现在无非以前的效率和精准性高了一些，但在稳定性等方面却有很大的提升空间。关于url抓取的原理，推荐阅读《hadoop帮助与启示》。

　　技术有很多，也有技术相对较成熟的平台像imagej，arcgisserver等等，其中arcgisserver是有免费版，就看你做的东西对价格敏感度了，在百度有免费版的话用免费版，不然就用付费版，或者搜相关服务即可。回头加个定语，我可以提供免费数据，爬虫相关服务。