文章采集接口(基于requests使用采集python模块的方法总结-csdn博客requests库)

　　文章采集接口(基于requests使用采集python模块的方法总结-csdn博客requests库)

　　文章采集接口是和爬虫对接的，而爬虫则需要引入requests包来处理http请求。而在采集方面用到requests的情况比较多。本文使用requests比较简单粗暴的方法：基于requests使用采集python模块的方法总结-csdn博客requests库其实是一个库，包含的模块有requests和其它模块。

　　requests包含requests-http、requests-headers、itchat、dataframe(数据框)、cookiejar等，这些模块的作用也不尽相同。本文基于requests来讲requests包。官方提供的示例地址：-http-demo，示例页面的功能很完善，比如网址结构抓取、二维码解析、不同浏览器和不同浏览器模式下的url转换、网页广告解析、浏览器登录验证等。

　　安装方式一般是用pipinstallrequests，或者requests-http-demo自带pip（在网页源码中）或者下载支持的模块，或者直接用requests-http-demo自带-http:，把requests-http包放到工程的根目录。本文介绍requests-http包的安装方式。安装包教程：使用cmd方式安装requests包注意：安装requests时不要安装在命令行模式。

　　如果想要安装cmd方式安装，可以使用conda：condainstallrequests-http安装时如果不想用pip，可以使用pipinstallrequests-http安装时安装requests，requests是一个纯python包，虽然用pipinstall模块比requests自带pip安装方式安装可以节省大量时间。

　　scrapy在java中完整包下载及其安装方式见详细介绍：下载scrapy已安装安装scrapy后，scrapy以request对象形式接收request,加上shutil方法解析request，将内容传递给requestsresponse方法处理。requestsresponse方法接收几个参数如下：data;data接收的httpresponse对象；参数：-request-path-example-example-image。

　　安装方式：查看命令或安装方式可用如下命令安装库：pipinstallrequests-http将源码下载scrapy完整包，提取到任何你想要的目录下面，本文以ubuntu下scrapy包为例。scrapy完整包下载地址：scrapydocumentation源码：wget-2.2.6.tar.gz为避免加载jar包时已载入的依赖包可能导致报错，本文提供另一种方法解决：aptinstallsite-packages--for-all安装scrapy，这个时候会发现在/usr/local/scrapy/bin/目录下，也就是/usr/local/scrapy/site-packages/下，还有其它文件。

　　为避免再加载其它依赖包，可以pipinstalllibscrapy。另外，安装时如果有jar包需要下载解压，可以用如下命令（清华镜像）。