站群文章采集器命令行输入pip3.5版本

　　站群文章采集器命令行输入pip3.5版本

　　站群文章采集器

　　一、常用工具：

　　1、会爬虫的话，用代理ip或者机器人去爬很多，

　　2、会爬虫，但不会爬数据的可以用博睿爬虫采集器之类的爬虫软件去爬（这个要求会玩爬虫，

　　3、没有会爬虫的，那就上采集神器吧——scrapy爬虫框架。

　　二、工具使用

　　1、linux下下载scrapyscrapy是一个非常出色的开源框架，采用rusy-hub与python3版本相连接，用scrapy爬取wikipedia、新浪博客、、和其他爬虫网站时都不需要再配置一遍，节省了你的时间与精力。

　　2、ubuntu系统下安装scrapyscrapy工作在ubuntu系统上，安装scrapy后需要写入环境变量。但是ubuntu系统不适合写入环境变量，因此在开始之前需要把scrapy安装到ubuntu系统上，这时可以使用pip命令使用zsh命令来安装scrapy。（pip为一个命令管理库的管理工具，主要用于管理版本，如pip安装和卸载软件包等）。

　　3、ubuntu系统下安装python3版本python3由于字体问题没有办法直接识别linux3下scrapy的链接，因此我们需要用pip3安装python3。我们需要先安装python3：condainstallpython3准备工作做好后，就可以正式开始安装scrapy，参考博睿爬虫采集器官网博客中scrapy的操作说明。

　　4、ubuntu系统下安装scrapy软件包在ubuntu系统上安装scrapy软件包，需要下载软件包。但是ubuntu系统服务器不能执行python3.5版本的scrapy，因此我们需要安装python3.5版本的软件包。在命令行输入pip3，如果发现pip命令行提示以下错误：scrapy--user-general--properties-namescrapy.python.disturls:cannotopenuser'''，我们不要慌，这是由于我们还没有配置环境变量。

　　scrapy在安装到你配置的环境变量中，所以你得配置好环境变量。不过安装软件包命令pip出现以下错误可以采取下面办法解决：condaupdate--allscrapy这样你就可以安装正确的scrapy软件包了。

　　5、ubuntu系统下配置scrapy配置完scrapy后，我们还需要在命令行输入以下命令：importscrapyimportrequestsimportjsonimporttime完成以上三步后，我们即可使用scrapy抓取数据了。

　　爬取内容可以像下面这样：或者是下面这样：

　　三、分析网站scrapy的接口的显示效果（伪类）h5分析js效果（加载速度）pandas分析值方式（pandas的单行以及多行转换）大体流程如下：简单爬取页面数据

　　1、找出与scrapy爬取相同关键字的网页

　　2、使用爬虫采集该网页（scrapyforms--