阿里巴巴开发的python爬虫工具tidy发布运行脚本程序爬取获取数据

　　阿里巴巴开发的python爬虫工具tidy发布运行脚本程序爬取获取数据

　　爬虫抓取网页数据的用户很多，这本身是件简单的事，可如果你只是获取到一张简单的图片就觉得完成了作业，还是太可惜了。那么网页中的图片如何才能获取呢？今天阿里巴巴开发的python爬虫工具tidy发布了新版本，通过运行脚本程序，爬取主页获取数据。tidy是一款开源免费的python编程工具，可用于网络爬虫、邮件摘要和其他类型的web服务器应用程序开发。

　　网页中可以抓取多少图片？请参考网页地址我们可以在网页中发现，一个javascript解析器可以获取整个页面的图片地址。下面来看看tidy是如何爬取该地址的。打开我们刚才运行的tidy工具，可以看到tidy是以http的方式进行网页解析。那么为什么是以http进行解析呢？对于每一个页面来说，不可能都是以http/1.1或http/1.1.1的标准模式。

　　因为我们要考虑的是查询时的反爬虫机制。如果用dns请求来解析就可以解析xhr（xmlhttprequest对象）中的cookie，为了确保用户有爬取的能力，所以必须去匹配一个本地的cookie，也就是存放在/for/xhr中。因此，该http/1.1/0标准就被定义为python解析器在请求时cookie的设置。

　　tidy框架通过http请求在cookie上的标准化设置来处理cookie的请求。如果网页地址中包含cookie，那么所有爬取图片的请求，都会被设置到http/1.1/0中。通过上面的说明，我们知道图片的cookie（cookie）是用tidy请求时，将cookie添加到请求请求cookie中，如果xhr访问该图片时，根据给定的图片cookie信息，就可以获取该图片。

　　下面有个示例代码：importrequestsimportsyspage=requests.get('')headers={'user-agent':'mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/69.0.3012.117safari/537.36'}cookies=requests.get('',headers=headers)html=cookies.json()html=requests.get('',headers=headers)print('httpheaders:',headers.cookies)获取数据文件存放地址：。