文章采集系统如何写代码，爬虫代理是怎么做的？

　　文章采集系统如何写代码，爬虫代理是怎么做的？

　　文章采集系统是为那些你可以确定会重复采集的网站。然后你就可以写代码，编程能力比较强的话就不会太难。关键就是对采集不是太熟练。写代码可以借助网上的免费工具，一些有功能齐全的网站都能提供有需要的自己写下程序。数据来源分别为：类信息爬虫和爬虫代理。这里所谓类信息爬虫就是在一个站点下模拟浏览器行为，爬取其网页，伪造返回参数等等数据。

　　爬虫代理就是真实用户信息而使用的代理ip。本小试牛刀，分析的那些站点都是上百万的站点，有很多都是比较有代表性的，因为不过站点主页有交集，爬取的话也比较容易。全站，经过小试之后，我基本对爬虫代理这块是有个了解的，最多的就是b站，今日头条，其次是陆金所。但有一点就是这类网站的话都有一定自身规律。有一定的敏感度，不能直接用他们的伪代理，用自己的。

　　因为被封机率很大，如果用的代理方式不正确的话就有些麻烦。总体来说，第一步可以先假设自己的采集方式，问题是如何抓取，在这方面有一些基础。只是数据来源和方法，其他的不多讲。采集之后如何过滤并存储，采集的数据尽量就是一些自己会获取的。例如电视台的、视频网站的，每个网站上很多电视节目都是提前要vpn下好来下载的。

　　一个企业的话，每个服务器要有10个内网机房，电信和网通各用一套。假设你一个站点最多有1000个ip地址，先不说数量，你能抓取1000个ip么？1000个ip能采集完？能全部下载下来？想想很不现实。那么现在来一个问题，我们采集的数据，爬虫代理都有自己的处理机制，如果你想采集下来，那么肯定不是一次爬取就完事了。

　　那么你要发送一个请求获取该ip的响应结果。这个响应，你要从所有数据源获取，各种ua，所以数据源种类，采集时间不得以上。常见响应方式。静态响应方式，又叫前端响应，原理是把返回响应变成json格式的响应，将该值放到网页的header中然后处理。比如content-type，jsonp。那么ua你获取之后要转成json，然后整个请求就会失败。

　　同理发出的json数据处理，也会失败。又如selenium，需要全局安装浏览器驱动之后才能处理，来的数据太大有些还是下不来，但有时候处理方式不对，结果就可能出现数据误差等等这些问题。动态响应方式，动态响应网站，主要是解析json来爬取数据，一般爬取的是web页面。这个在爬取方式上要用比较多jquery的ajax。

　　动态发送数据，响应时间往往是非常长的，延迟也要非常高，和静态网站爬取比，同等数据量，谁也不敢说谁，时间上优势并不明显。所以你只要拿过代理，那么不管多长时间，都可以用。不过代理返回的时。