秘密:蜘蛛池与泛站群系统之间的关系

　　秘密:蜘蛛池与泛站群系统之间的关系

　　Spider Pool 是一个通过批量解析的泛域名邀请蜘蛛程序，可以快速为已建立的链接吸引蜘蛛并让它们收录。Pan站群是一个泛域名排名程序，通过批量分析，通过二级域名的独立站点进行排名。那么在操作蜘蛛池的时候，之前做过pan站群的同学会觉得这两个程序的操作和结构很相似，只不过蜘蛛池增加了一个蜘蛛收录文件。这里介绍一下蜘蛛池和pan站群的关系。蜘蛛池可以说是pan站群的改进升级版，但它的功能其实是不一样的。

　　pan站群是通过域名pan解析，每个二级域名由pan站群程序对应一个独立站点，大量二级域名对应大量独立站点，再加上大量不同的域名，所以多站点跨站链接可以很快被搜索引擎收录和排名，因为数量巨大，往往很容易霸屏，但是搜索引擎也发现这种情况，肯定会打到 pan站群 ，pan站群 的效果会逐渐减弱。这时候你会发现Pan站群还是会有大量的蜘蛛在爬，因为新域名解析到Pan站群，蜘蛛肯定会来爬的，这是不能的情况被封锁，

　　蜘蛛池是从pan站群演变而来的，*敏*感*词*，让被吸引的蜘蛛收录我们建立链接。

　　蜘蛛池是为了吸引蜘蛛，是目前蜘蛛池的主要功能之一。通过批量泛解析域名，吸引了大量蜘蛛，所以蜘蛛收录我们需要让搜索引擎收录链接，这些链接可以不被网站 收录收录@文章，文章黑帽程序繁殖的页面，软文博客的一些链接等等。当我们把需要的链接放上收录 进入蜘蛛池，蜘蛛池会将这些不带收录的链接展示给被吸引的蜘蛛，让大量蜘蛛爬行并快速收录这些页面。

　　可怕:关于优采云网络爬虫的几个常见问题

　　我昨天才开始接触网络爬虫。根据网上的好评，我选择了优采云V9版本的爬虫。

　　一开始，我去了它友好而全面的傻瓜操作页面。谁知道，完成一个基本的京东产品评测任务，并没有想象中那么简单。

　　1.首先在起始URL中添加向导的步骤是坑的，

　　因为现在京东评论一般都是直接在商品页面上查看，但是这个网址是用json技术渲染的。

　　通过该技术，可以根据用户对第二页的上一页等操作进行动态数据包的抓取和更新，因此很难制定相应的规则。

　　参考了下面的抢价教程，操作还是不尽如人意。（以后学习json）

　　直到我找到了一篇关于捕捉师兄多年来的评论的文档，我才发现有一个专门的评论页面，并且有相应的规则。

　　【地址参数】-0.html，可以解决这个问题

　　2.第二个问题是没有检查每个字段的循环匹配，导致采集评论格式相同，每次只采集到几个采集

　　3.第三个问题是默认输出txt文档样式没有修改，导致每次输出都是之前设置的[label:title][label:content]

　　4、还有一个问题是，如果发现上述问题后修改配置重新采集，一定要清除数据采集，否则不起作用并报错。

　　对样本 0 说 采集

　　×5。发现一个新的问题是京东的user id的html标签有很多种。如果对正则表达式不熟悉，只能采集到相关的注释文字，不能

　　采集所有用户的id，所以用户id和用户评论不是一一对应的。另外，优采云评论的顺序采集好像和网页上看到的评论不一样

　　顺序，这个问题留待以后研究