抓取网页数据(如何防止爬虫爬取数据,(图)至服务器)

　　抓取网页数据(如何防止爬虫爬取数据,(图)至服务器)

　　抓取网页数据至npmload，添加page.load至服务器，使服务器每日每秒执行此页面，存储cookie。下次使用时，

　　我是这么想的，你可以挂上你的directtoken，写一段代码，只要是directtoken为true的都可以了，然后对特定的页面做一次cookie的校验，如果校验到你的directtoken就认为那个页面的访问是安全的，可以推送给那个页面去，

　　建议一开始自己写一套loadbalancer方案。你需要实现这样一套系统，首先，客户端需要自己发起http请求，然后服务端需要判断请求是否合法，是否在拥有一个比如：cookie_from_to_exists等header,同时根据关键字(如:when,as,since等)用"某个参数"来对应判断用户状态等，进而决定是否推送不同状态的报文推送到对应的页面，最后在每个接受到的http请求中cookieheaderbodypost或postnewkey和某个特定token来进行验证，确保新的页面是安全的，回应后进行计算推送请求。

　　不用爬虫的话，

　　先提供一种思路:如果你能在后台方便地通过一些便捷的反爬虫设置来防止爬虫爬取数据,比如带身份验证、返回有效method、cookie,服务端也可以用类似的框架来负责判断哪些值对应(注意是对应),并将爬取的数据以响应形式返回给客户端。否则,可以借助现有的信息采集类进行爬取,或者直接将数据交给爬虫,他们自己去读取。爬虫的学习难度没那么大。前者的代码量应该有百万级,后者则很少。