数据采集：如何自动化采集数据

　　一个数据的走势是由多个维度影响的，我们须要通过多源的数据采集，手机到尽可能多的数据维度，同时保证数据的质量，这样就能得到高质量的数据挖掘结果

　　数据源可分为以下四类：

　　开放数据源：政府、企业、高校

　　爬虫抓取：网页、app

　　日志采集：前端采集、后端脚本

　　传感器：图像、测速、热敏

　　如何使用爬虫做抓取：

　　爬虫抓取属于最常见的需求，最直接的方式是使用python编撰爬虫代码。

　　在python 爬虫中自动采集数据自动采集数据，基本上会经历三个过程：

　　使用requests 爬取内容，使用Requests 库来爬取网页信息，Requests 库是python 爬虫的神器，也是python的http库，通过这个库爬取网页的数据，非常便捷使用XPath 解析内容。XPath 是XML Path 的简写。它是拿来确定XML文档中某部份位置的预言，在开发中常用作大型查询预言。使用Pandas 保存数据。Pandas是使数据剖析工作显得简单高效的中级数据结构，我们可以用Pandas保存爬取的数据。最后通过Pandas再写入XLS 或者Mysql等数据库中。三款常用的抓取工具

　　优采云：老牌采集器，不仅可以做抓取工具，也可以做数据清洗、数据剖析、数据挖掘和可视化。数据源适宜绝大多数网页。

　　优采云：有付费版和免费版，可以手动切换ip。

　　集搜客：特点是完全可视化，无需编程，整个采集过程所见即所得