python数据剖析4之手动采集数据

　　1 数据采集的重要性

　　数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时侯，我们拥有多少数据源，多少数据量，以及数据质量怎样，将决定我们挖掘产出的成果会如何

　　2 四类采集方式

　　3 如何使用开放是数据源

　　4 爬虫形式

　　(1) 使用request爬取内容。

　　(2)使用xpath解析内容，可以通过元素属性进行位置索引

　　(3)使用panda保存数据。最后通过panda写入XLS或则mysql数据中

　　(3)scapy

　　5 常用抓取工具

　　(1)优采云采集器

　　它除了可以做抓取工具，也可以做数据清洗、数据剖析、数据挖掘和可视化等工作。数据源适用于绝大部分的网页，网页中能看到的内容都可以通过采集规则进行抓取

　　(2)优采云

　　免费采集电商类，生活服务类等

　　云采集配置采集任务，一共有5000台服务器，通过云端节点采集，自动切换多个IP等

　　(3)集搜客

　　没有云采集功能，所有爬虫在自己的笔记本进行

　　6 如何使用日志采集工具

　　(1) 最大的作用就是通过剖析用户访问情况，提升系统的性能。

　　(2)记载的内容通常包括通过哪些渠道访问，执行了什么操i做，用户IP等

　　(3)埋点是哪些

　　埋点就是在你须要统计数据的那地方统计代码。友盟 google analysis talkingdata 常用的的埋点工具。

　　7 总结

　　数据的采集渠道好多，可以自己通过爬虫，也可以使用开源的数据源，线程的工具。

　　可以直接从Kaggle上下载，不需要自己爬取。

　　另一方面依照我们的需求，需要采集的数据也不同，比如交通行业，数据采集会和*敏*感*词*或则测速仪有关。对于运维人员，日志采集和剖析则是关