网页flash抓取(优化网站时有很多设置是不利于蜘蛛抓取的具体有哪些)

　　网页flash抓取(优化网站时有很多设置是不利于蜘蛛抓取的具体有哪些)

　　我们在优化网站的时候，有很多不利于爬虫的设置。具体有哪些？下面小编为大家总结了一些设置方法，仅供参考：

　　登录设置

　　有的网站会设置注册账号服务。登录后可以看到网站的内容。这个设置对爬虫不友好，爬虫不会注册登录，所以爬不上去。.

　　动态网址

　　所谓动态URL就是链接中以aspx、asp、jsp、perl、php、cgi为后缀的URL，也就是动态URL。动态 URL 比较多变，不如静态 URL 稳定。动态 URL 不够可信，所以很多动态 URL 的页面不能是 收录。

　　Cookie 的使用

　　cookie 的作用是识别用户的身份。如果不开启cookies，就无法访​​问，会导致蜘蛛无法访问，从而影响爬取。

　　网站跳跃

　　有的网站打开后会自动跳转到其他页面，跳转会增加网站的加载时间。不建议每个人都这样做。只做301跳，301跳可以集中负重，其他类型的调整不推荐。

　　闪存文件

　　有的网站设计了一些Flash文件给浏览用户带来不错的视觉效果，可惜搜索引擎看不到也读不到任何内容，所以为了体现网站优化的最佳效果，这种不建议将 Flash 用于主页图片。

　　以上几个方面的设置可能会直接或间接影响蜘蛛的抓取速度和抓取量，需要站长注意。内容仅供参考。