全网文章采集，谁还没做过爬虫呢？

　　全网文章采集，谁还没做过爬虫呢？

　　全网文章采集，第一时间在此发布！谁还没做过爬虫呢？正所谓，是骡子是马，拉出来溜溜；再不能偷懒了，得勤加练习！咱文章太多，多到有没有地方去看；这个问题咱们得好好说道说道。然而，我做这个分享，大多是希望能让每个用户以后爬虫上手更容易，同时也节省了大家慢慢摸索的时间，能在需要爬虫的时候就可以立刻找到自己想要的东西，而不是东看看，西瞅瞅。

　　今天就来说说这个爬虫的工具：scrapy+python！scrapy简介什么是scrapy?scrapy是一个python爬虫框架。scrapy对http请求做了一个轻量级封装，能让scrapy应用“快速、高效、灵活”的发展。提供多种常用的爬虫解决方案，包括xpath提取、urllib2、pyspider等。

　　scrapy爬虫的核心模块就是downloader和spider两个中心。downloader负责爬取，spider负责提取，简单来说downloader就是爬虫模块；spider是一个执行模块，就是爬虫的简称，就跟我们的编辑器、浏览器、系统控制面板类似，具体来说，就是能够执行请求、解析html、提取html中的内容、存储或者分析数据，是scrapy核心模块。

　　安装scrapycrpython中提供了scrapy和scrapy-redis两个命令行工具。在终端中输入：curl-|sh，检查命令行执行结果，最后会出现下面的信息。如果输入命令执行的是上面的命令，则表示安装成功，可以继续运行。如果输入命令，执行的是上面下面的命令，则表示缺少pip工具，需要pip安装。

　　获取基本demoresult_html=scrapy.request(url,downloader=downloader,spider=spider)#request表示用于提取html中内容的urlscore=result_html.format('${json}')#返回format格式的json数据，类似jsonscore=int(score)#返回一个整数数据，int和bytes类似result=score#int表示参数top=result.request.detail.result#返回目标数据详情。

　　top=output_number|width:score这里的result是一个列表（有两个参数），是各个请求的分数。result.request.detail.result['author']=result.request.detail.result['is_selector']#返回所有请求中提取出来的标签，也就是一个非文本列表。

　　result.request.detail.result['body']=result.request.detail.result['realty']#返回一个字符串列表，比如：body=result.request.detail.result['author']||['weibo']#返回的都是html页面中的标签。result.request.detail.result['is_selector']。