网页css js 抓取助手(是否屏蔽蜘蛛抓取一个JS和CSS文件？(组图))

　　网页css js 抓取助手(是否屏蔽蜘蛛抓取一个JS和CSS文件？(组图))

　　做过网站的人都知道，在查看日志的时候，会发*敏*感*词*。蜘蛛时间到其他页面。你会阻止蜘蛛抓取 JS 和 CSS 文件吗？我们采访了几位专业的SEO专家：

　　傅伟——

　　SEOWHY创始人

　　我认为“蜘蛛抓取 网站 的时间是确定的。如果限制抓取某个文件，它将有更多时间抓取其他网页”

　　如果没有，则根本没有必要阻止 CSS 和 JS。

　　如果是真的，那么需要屏蔽的不仅仅是 CSS 和 JS。许多没有意义的文件值得阻止。

　　张立波——

　　迈步鞋网联合创始人兼COO

　　我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS，CSS，哪些是网页文件。爬js和css的爬虫应该不会影响网页的爬取频率。

　　至于搜索引擎爬js和css，可能和snapshot有关，因为网站的页面大部分都是用div+css搭建的，如果没有css页面就惨了。

　　所以不排除搜索引擎试图解释JS和CSS文件来丰富网页内容，让搜索更加精准。

　　冯寒——

　　大型B2B平台的SEO负责人

　　经过我的实验和跟踪数据显示：

　　1> 被屏蔽的js/css文件还是会被百度和google抓取

　　2> 跟踪观察屏蔽后其他页面类型蜘蛛的爬取量，发现并没有增加

　　3>如果网站大部分js/css文件收录较多的url，可以解封，蜘蛛在爬js/css文件的同时可以爬取里面的链接

　　4>如果网站大部分js/css文件基本都是code之类的，屏蔽也可以，没有明显的优点，也没有发现缺点。

　　国平老师认为，屏蔽这种文件不会对网站造成不良影响，反而可以促进其他页面的收录；

　　免责声明：本文由（李竹平）原创编译，转载请保留链接：是否屏蔽百度蜘蛛抓取JS和CSS文件