电商网站设计的时候需要注意采集与被采集的规则

　　电商网站设计的时候需要注意采集与被采集的规则

　　智能采集的普及为高效转化提供了可能，因此在做电商网站在设计的时候需要注意采集与被采集的规则与方式等等。好了，废话不多说，直接进入主题！。一、智能采集和被采集的机制假设一个网站所有网页全部被采集，那么将会有各种恶意攻击，比如：xx网站爬虫爬取网站数据量累计超过一定值，系统误判然后向爬虫发出某信息提示邮件，通知爬虫，如果没有爬取成功会再次提示，不断循环反复。

　　这个时候爬虫自然不知道被哪个爬虫采集，所以可能会去做各种测试，误伤服务器也是有可能的。如果一个网站所有的网页全部被采集，那么也会发生一种情况，那就是一个网站将所有网页全部采集过来，会被注册黄赌毒类目。这个时候原网站主人也许会重新发布一个合作关系的网站来避免这个影响。一个网站如果只采集其中一部分网页，如果爬虫一直被采集，可能会养成习惯了，后期爬虫也会一直不断被采集。

　　如果被采集的网页是有价值的，那么，也有可能会做主人做一些检查，比如被采集网页是否含有广告链接，需要实时更新的链接需要放在最上层等等。总之，爬虫被采集多次，不是什么好事。被采集的网页里有好东西，爬虫也可能一直采集，但不见得是好事，能留下来的是不断更新内容的网站，里面有较多的价值。电商网站呢，基本都是已经是实质商品销售了，数据很重要，千万不要相信采集链接的恶意爬虫。

　　二、网站采集规则电商网站为了防止恶意爬虫，一定要设计好被采集网页规则。假设你采集了一个的商品网站，然后发布了，你很高兴能爬取这个商品页面，但是有很多人爬取这个商品页面，但是由于爬取所需时间很长，这些人就可能看不到商品页面。这个时候，你爬取的好处是让一些人能看到你发布的商品，没有好处，是爬不下去的。

　　在手机上可以在大家都不看图的情况下，把网页抓下来，然后再抓商品页面。抓东西抓下来不能马上用来卖，要上架后过段时间用，不然会过时，过时的数据就是垃圾。网页采集规则也要有耐心，不断调整，不断被采集，然后再采集，重复多次，才能让好的数据被持续抓取。数据抓取一定要有必要的规则。例如这个商品刚发布在，有100个人发布在她的店铺，为了防止恶意爬虫采集，把这些人的商品复制过来。

　　这个时候，一定要有这种规则，商品的名称是否可以脱离商品而存在，爬虫爬取这个商品会不会也爬取别的商品。被爬取的商品名称跟当前商品名称不一致的话，不能看成是爬虫采集的。爬虫在抓取商品页面之前，一定要填满这个条件。网页规则主要分两块：一是人类发帖，一是浏览器发帖。人类发帖：就是防止人肉爬虫。浏览器发帖。