云优cms采集接口优化之如何做到多处权重对比

　　云优cms采集接口优化之如何做到多处权重对比

　　云优cms采集接口需要配置优化，该优化可以减小网站的请求以及点击量。让同一个客户，不同网站，不同时段都能访问上去获取数据。人们总是对多数人好，若是对少数人好，那么这种优化方式绝对有效。除此之外优化接口还能提高cms用户的粘性以及客户习惯。让用户用的更久而不会转换其他网站，说起来简单做起来难。采集接口优化之如何做到多处权重对比，多处排名对比？云优云优采集最多支持20万网站点击统计，假设20万网站有10万，50万，100万网站会一并统计，由于单个网站不能统计所有数据，所以只能统计点击量最高的。

　　多处权重对比，一般比较常用的权重对比就是点击量，转化量，加载速度，以及停留时间。然后通过统计点击时间来分析，用户在某个网站停留了多长时间，搜索了多少个词语，等等。多处排名对比，一般涉及到的是你的网站竞争对手太多。采集接口优化采集接口优化整个过程，其实需要你对采集机制，爬虫机制，以及算法等等了解，但大多数开发者对机制是不了解的，那么在做云优cms采集接口优化的时候，就需要在一个只有自己的规则优化的前提下，去探索一个比较有效的机制，而探索机制的过程，通常需要对爬虫机制有了解。

　　那么为什么要对爬虫机制这么了解呢？因为对爬虫机制了解，能减少不必要的请求，避免请求封杀，以及加载速度和停留时间的提升，等等一些问题。作为程序员一定要深入探究的东西。这里最常说的是requestproxy,这是指网页的proxy，而cloudfront是一个浏览器相关的requestproxy,googlereferraltransport,是一个浏览器相关的requestheaderproxy.在了解这些基础知识之后，才能根据网站情况开始设置的工作，并且产生新的思路。

　　采集接口优化1.查询用户ip，类似于百度的ip列表方法2.查询用户ip，还不够，我们还需要分析访问历史情况，有没有请求过目标网站，是怎么搜索的。除此之外，需要了解用户的搜索习惯，对外链情况有一定的了解，以及用户访问转化情况。3.访问量和访问时间。需要了解目标网站大多数是什么时间访问人多，访问人少是什么原因，例如某个页面经常出现0人浏览，1人访问等，这个页面访问时间是否较长，停留时间是否较长等等。

　　这些设置因人而异，每个人对各类页面访问量和停留时间有不同的认识。4.还有很多通用的因素，例如dns大概知道域名ip，各种历史访问情况。例如每个浏览器都有一个自己特定的缓存策略，用来提升网站的访问体验，假设某网站有三种不同的访问方式，pagesize，dns缓存和启用二次post，这时候对这三种策略了解一下都要做什么。