人工采集,二的转换规则非常重要建议重复人工操作

　　人工采集,二的转换规则非常重要建议重复人工操作

　　一是人工采集,二是智能采集.人工采集就是采集员一个个编号去采集,就算全网都有,多了也不容易,通常都是某几个大站接入这样才比较放心,按需取得每一个小站的密码.人工采集所有的都要编号,也就是采集员要一个一个人去设置,如果每一个小站是一个人去设置,那么同样也需要用这个人去数据库找相应的数据,太浪费时间了,小站当然不一定有大站的数据量大,但肯定是要设置小站的数据库.采集到的数据需要做数据转换,这里面有方方面面的，也就是表单验证的方式有很多种，除了采集员自己设置verillocatement检查之外,另外可以使用modelcheck检查.大站做referer中转处理的时候我们需要大量时间进行转换.所以设置大站的转换规则非常重要.建议重复人工操作,人工方便的多,越是小站一个一个去设置转换规则简直太困难了...智能采集就是智能网站管理系统，建站seo都可以使用的，通过收集站内dom来自动生成网站地图；站内dom文本分析规则，根据ajax技术实现网站异步加载；增加url规则，生成特殊数据，并且增加分享规则实现用户属性分享；社交规则分析规则，不仅分析分享数据，还会分析文章推荐人的属性数据；根据特殊的hook机制实现其他动态功能。

　　有这么大的网站，数据量是很大的，没有接口只能使用post和get方式去收集，因为一般网站都是wap页面，你只有爬虫开始网页数据的爬取后，才需要人工收集。目前现在网站的数据比如url都是很精确的，每个页面抓取一遍，一页大概抓取几百上千行数据量。就算有人工，也抓取了100页的数据量，再整理出来你想要的规则，也是不现实的。

　　所以现在大的网站已经不能使用post去爬取数据了，其中原因我就不多说了，百度收录每天都是很多，虽然大网站的数据量上亿条，但是也很多很多的小网站。那么怎么去爬取分析网站才会更快更容易找到你需要的需要的数据呢？首先，这种大数据量的网站，会有很多的页面（h5页面除外）页面分析：如果你是想爬取的页面是ajax跳转，那么你只要查看就可以知道跳转的网址，按照网址去抓取页面，如果很多页面存在，那么比如几百页，只要抓取10页数据就可以抓取到几千，有些网站规则并不是只抓取第一页，会抓取到全站，甚至是全站各个页面，那么这种网站首先要找到需要抓取的页面，然后抓取页面。

　　如果数据量比较大，请不要再使用第三方网站分析工具查看，自己去分析。当然，有些大网站，比如某些一些综合性博客站点，有些比较冷门的分享站点，就会根据不同站点爬取一些文章，这些可以通过搜索引擎爬取相关的文章。比如我要爬取或。