采集文章系统(以scrapy开发文章系统的抓取方式分为静态和动态)

　　采集文章系统(以scrapy开发文章系统的抓取方式分为静态和动态)

　　采集文章系统后就需要进行数据的导入。就笔者所知，目前以爬虫开发为主要方向的公司会将文章数据的抓取采集方式分为静态抓取和动态抓取。此处静态抓取指的是以python服务器上的scrapy进行抓取，而动态抓取则主要是以python爬虫框架requests等web爬虫工具或者web服务器开发工具以及web解析平台。

　　今天主要以scrapy开发文章系统。1、准备工作我们使用的是企业版的scrapy，抓取过程中用到的依赖库有三个：urllib2,re,scrapy。urllib2库是一个标准库，它常被用于提取关键字,请求头和路由。因此我们必须要会使用urllib2库，也就是常说的面向对象编程。你可以利用scrapy.urllib2.url(xxx)可以很方便的导入scrapy的urllib2库,将scrapy所需要的所有url及其内容从一个urllib2进行爬取或从一个urllib2请求。

　　re库是一个多协议的爬取库,用于解析http请求报文和建立python的连接。同时https还会对我们写入简单的安全代码。scrapy提供在python下的python实现scrapy.spider（自动爬取者），实现scrapy-login(登录动态url)和scrapy-download(下载动态url)。

　　scrapy-sigterm是python下的项目快速安装接口，scrapy可以单独部署在linux下，所以也可以使用scrapy.signal等函数来与linux服务器通信。这里我们安装scrapy3，通过源码安装，如：#!/usr/bin/envpython3scrapy-simple_install_for_start如果你不懂python，有些项目还需要python3，那么需要下载python版本的scrapy3的源码，通过pip命令安装。

　　#!/usr/bin/envpython3scrapy3.py--user--db-path=/lib/python3/3.6/envs/scrapy_pip.py#!/usr/bin/envpython3scrapy3.py--user--db-path=/lib/python3/3.6/envs/scrapy_pip.py#!/usr/bin/envpython3scrapy3.py--user--db-path=/lib/python3/3.6/envs/scrapy_pip.pymain.py:\scrapy_simple_install_for_start\\scrapy_simple_install_for_start\\\scrapy_simple_install_for_start\\\scrapy_simple_install_for_start\\\scrapy_simple_install_for_start\\\scrapy_simple_install_for_start\\\scrapy_simple_install_for。