网页结构代理ip池爬虫框架框架框架（一）

　　网页结构代理ip池爬虫框架框架框架（一）

　　免费的文章采集平台一般没有技术含量，从爬虫抓取，自动存储，再到提取数据。现在比较火的抓取技术包括：webhook爬虫、网页抓取、html5抓取、python开发下载工具、爬虫框架、代理ip池。采集一般到高端的应用有：、cookie代理ip池等。您可以选择一个领域做深度爬取再扩展，像有很多抓取api文档，发现再到做精细化的运营，把需求多领域聚合，很多时候，您想要一个采集渠道，又想做垂直分析，一个采集渠道就够了，下面，小弟就给大家推荐一些入门采集技术。

　　数据结构：all-inall数据采集技术：http请求结构javascript转换算法javascript-http请求记录httpreferer优化http请求，重定向的拦截限制url：（局部请求，http隐藏路径）http的状态码路径限制返回响应的字段，如name，否则后续的请求会受到阻塞sql语句(mysql，sqlserver，oracle)页数限制，如：1spam，cookie攻击http2.0：首页无法被爬取算法/网页正则表达式目录索引验证xpath网页节点设计、爬取短网址每个链接的http结构代理ip池爬虫框架爬虫框架大家总结的很多了，我推荐这个，基本功能已经封装好，其他爬虫框架该有的功能他们都有了，他们是python环境的福音，只需要一个脚本，其他框架也一个脚本就搞定了，不需要编写第三方的各种spider，爬虫等等。爬虫框架来自于python3和python3.5。

　　1、爬虫框架：douban爬虫框架数据抓取中常用的库gzip压缩：.gzip的优点是能够放大文件大小，文件能够保持较短的头部信息。gzip压缩可用作你的redis数据库存储，或者一些不需要加密的日志。最后要注意：doubandump文件选用小一点的版本，也可以用gzip/phantomdump作为doubandump的替代。

　　2、phantom爬虫框架

　　1)简单速度快，支持*敏*感*词*请求，利用重定向进行post，put等提取数据。

　　2)支持less/pipinstall

　　3)能利用selenium/webdriver等工具

　　4)支持设置端口请求返回的内容是否被截取

　　3、douban采集数据库feed数据库的文件只有访问源码的时候才会解析，存储在数据库，修改之后才能使用，所以最好增加一个feed库processor,其他数据库不能使用java等语言实现。也可以使用ssh实现。一个douban的数据库是一个csv文件来模拟，一个爬虫只会获取一个文件，douban采用的csv文件，另外有一个phantom的文件，来模拟用户当前的操作的每一行。结合feed数据库和数据库来获取数据，效率会高很多。