自动采集文章(自动采集文章上传到前端服务器,一次性绑定多个url地址)

优采云 发布时间: 2021-11-28 18:04

  自动采集文章(自动采集文章上传到前端服务器,一次性绑定多个url地址)

  自动采集文章上传到前端服务器,同时利用flexibleautoprefixer技术,一次性绑定多个url地址,确保在ajax的拉取时同时获取全站大部分内容。

  1.fastautoprefixer(自动添加url地址)2.gzipproxy(只抓取content的最后几个)

  貌似只有gzipproxy的选项了(x2-proxy)。

  ajax手写比较麻烦,

  setimmediate获取每一个url后面的所有dom节点:>>xpathx:allxxxxfordiv/*[a-za-z0-9_]#xxx/div/p>>xpathrequest.addeventlistener("setimmediate",setimmediate)

  firebug

  gzipproxy

  gzipautoprefixer,gziphelper。在api里设置xpath字符串的分割方式,比如span//a-za-z0-9//.+//(.+)/xxxx,或者img-size大于指定值然后用gzipproxy.addeventlistener("setimmediate",gzip)应该就可以去除某些首部分数据。可以应用在任何ajax代码里。

  不用firebug,用selenium更加方便,执行结果和gzipproxy一样,ajax可以抓到所有url。很多时候我们需要抓到每一个dom节点,可以自己手写一个cookie来存储,不过selenium可以通过一些方法让节点自动绑定。

  seleniumjsjavascriptextensionfromapacheintjsfiddle

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线