网页css js 抓取助手(是否屏蔽蜘蛛抓取和JS和CSS文件？(组图))

　　网页css js 抓取助手(是否屏蔽蜘蛛抓取和JS和CSS文件？(组图))

　　做过网站的人都知道，在查看日志的时候，会发*敏*感*词*。蜘蛛时间到其他页面。你会阻止蜘蛛抓取 JS 和 CSS 文件吗？我们采访了几位专业的 SEO 专家： Fuwei - SEOWHY 创始人 我认为“蜘蛛爬 网站 的时间是确定的，如果某个文件被限制爬取，它会有更多的时间来爬取它.如果“取另一个网页”不是真的，那么根本不需要屏蔽CSS和JS。如果是真的，需要屏蔽的不仅仅是CSS和JS，很多没有意义的文件都值得屏蔽. 张立波——麦步鞋业联合创始人兼COO。com 我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS，CSS，哪些是web文件。爬js和css的爬虫应该不会影响网页的爬取频率。至于搜索引擎爬js和css，可能和snapshot有关，因为网站的页面大部分都是用div+css搭建的，如果没有css页面就惨了。所以不排除搜索引擎试图解释JS和CSS文件来丰富网页内容，让搜索更加精准。如果没有 css 页面将是可怕的。所以不排除搜索引擎试图解释JS和CSS文件来丰富网页内容，让搜索更加精准。如果没有 css 页面将是可怕的。所以不排除搜索引擎试图解释JS和CSS文件来丰富网页内容，让搜索更加精准。

　　Feng Han – 某大型B2B平台的seo负责人通过我的实验和跟踪数据表明： 1> 被屏蔽的js/css文件仍然会被大量的百度和google抓取。3>如果网站大部分js/css文件收录的url比较多，可以解封，蜘蛛可以边爬链接边爬js/css文件4>如果网站大部分js/css文件基本都是代码等，屏蔽也是可能的。没有发现明显的优点或缺点。国平老师认为，屏蔽此类文件不会对网站产生不良影响，相反可以推广其他页面的收录；