可靠的采集神器(可靠的采集神器--我有python采集(组图))

　　可靠的采集神器(可靠的采集神器--我有python采集(组图))

　　可靠的采集神器我有python采集神器：“搬瓦工云采集”，使用神器可以在本地设置简单易用的操作流程。云采集可以显著提高采集效率，做真正的云采集。

　　python，scrapy,pandas,numpy,matplotlib,gensim,thrift,http123，最好自己学一下，然后去爬虫论坛搜一下，看别人爬虫用什么，学会以后换工作，

　　基础学好数据库就行，不然写起来非常痛苦。需要数据库语言，

　　换工作首先要看招聘要求是什么，否则面试不知道该问什么也很痛苦。

　　采集工具分为两种：第一种是纯爬虫工具，主要爬各大网站的网页内容，当然也可以去爬那些免费网站；第二种是数据分析工具，最常见的数据分析工具有：1。excel，去分析excel每一个功能的使用场景及特点，熟悉如何导入数据2。sqlserver，主要针对数据量较大的，要多了解sql入门知识3。pandas，这个需要基础的sql语法和函数，多练习，熟悉原理4。

　　数据透视表，也就是俗称的透视表，很重要，掌握它的用法5。其他还有一些，但是对于初学者来说太复杂，不一一说明了。

　　有两大类：a.数据库：nosql，mongodb，