原创文章自动采集(通用的数据采集工具-scrapy爬虫工具的安装配置介绍)

　　原创文章自动采集(通用的数据采集工具-scrapy爬虫工具的安装配置介绍)

　　原创文章自动采集某些创业项目的网站数据。网上有很多免费和付费的爬虫工具和爬虫库。这里给大家介绍一个通用的数据采集工具-scrapy实例。这篇博客来讲一下scrapy爬虫工具的安装配置。scrapy工具scrapy是一个基于python的web框架，它通过可扩展的web应用程序模块和一个功能强大的spider工具来扩展爬虫的功能。

　　它是用python语言编写的，能快速地完成网站的抓取和页面的提取。scrapy是快速，轻量级的爬虫框架，因此scrapy很适合初学者使用。scrapy具有响应式网站抓取，异步请求，事件驱动，容错机制，可爬取特定格式数据和反向代理等特性。在这篇博客的第一部分中，先介绍scrapy的目录结构：scrapy的工具类组成一个爬虫爬虫工具有很多，最常用的爬虫工具有scrapy、scrapyrun等。

　　scrapy的工具类包括scrapy.python文件、manage.py、spider.python文件。打开程序首先要执行：importscrapypythonscrapy.spiderspider=scrapy.spider(scheme='')说明：scrapy.spiderspider是一个直接执行scrapy.cookies的工具类。

　　该工具类接受一个scrapy.cookies对象，然后返回以下引导对象：item，有关抓取内容的一组值：cookies、request、response；scrapy.extractfromxmlhttprequest,一个“xmlhttprequest实例”，被request所包含的headers内容。

　　items=pythonscrapy.items.xmlhttprequest()说明：scrapy.items是提供给scrapy.cookies用的，即所有返回的html页面都是xml格式的，并且scrapy是以xml格式返回抓取结果。request请求时返回的xml格式字符串叫request.xmlhttprequest，返回的对象是这个对象的item对象，即我们用的xml对象，与我们写的xml形成对象关系。

　　scrapy.xmlhttprequest的每一行代码都是headers所代表的xml对象的一个数组。headers用于引用headers/request/xmlhttprequest/shell等文件的标识，如request.xmlhttprequest({"user-agent":"mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/67.0.3232.227safari/537.36"})。

　　response响应xml格式的字符串叫response.xmlhttprequest()，该函数接受一个scrapy.extractfromxmlhttprequest()函数返回的response对象的集合，返回dom对象以及其中的列表对象。比如：response=response.xmlhttprequest('')举例：print(response.headers)#1.1.1headersheaders[。