网页flash抓取(网站优化有哪些情况会出现这种蜘蛛陷阱？(图))

　　网页flash抓取(网站优化有哪些情况会出现这种蜘蛛陷阱？(图))

　　我们在做网站优化的过程，特别是现在收入对网站网站很重要，只有我们有一个比较好的收录才可能会获得良好的排名。所以在设计网站的时候，一定要尽量让蜘蛛获取到网站的所有内容信息。如果是在网站的程序上，也就是说设计中存在蜘蛛陷阱，会导致蜘蛛无法获取站点的内容。

　　有的朋友想要网站好看、酷等，却惹来了蜘蛛的爬行。在一定程度上，这形成了一个蜘蛛陷阱。那么这种蜘蛛陷阱会在哪些具体情况下出现呢？

　　一、JS

　　有的朋友为了让网站吸引用户的注意力，使用了大量的JS脚本进行导航、网站的首页界面等，这对蜘蛛爬行也是不利的。关于这一点可能存在一些争议。问题是要不要把它放在蜘蛛陷阱里。

　　JS在网站的构建中起到了举足轻重的作用，因为它可以为网站实现很多很酷的效果，但是依然无法摆脱不利于蜘蛛爬行的问题。在这方面，它可以是一个蜘蛛陷阱，但它也可以用于网站的其他方面来帮助我们做SEO。比如为了避免网站权重的分散，我不想得到一些对网站无意义排名的页面是收录，我们可以用JS脚本来防止蜘蛛爬取页面，在这方面，是我们做网站优化的好帮手，所以对于JS脚本来说，这都是自己动手用的！

　　二、帧结构

　　框架结构中的html通常可以被蜘蛛抓取，但一般情况下，里面的内容是不完整的。结果是搜索引擎无法确定框架中的内容是主框架还是框架调用的文件。

　　框架结构被认为是网站建筑行业的老古董。业界在刚开始构建网站的时候就会使用框架结构来设计相关页面，当时确实提供了。方便了很多，但是在网站建设越来越简单智能的今天，框架结构逐渐过时，蜘蛛爬取网站的内容非常困难，所以框架结构被迫成为蜘蛛陷阱。老实说，这不能怪，但必须怪。这也验证了一句话：落后就要挨打。

　　三、闪光灯太多

　　不得不说Flash可以给我们的网站加分不少。合适的Flash可以让我们的网站看起来高端又高端，但是不要滥用它，因为它有这些优点，不管你去哪里整Flash什么的，只会适得其反. 之所以会这样，是因为搜索引擎对Flash的抓取非常不理想，偶尔使用几乎没有效果，但是如果你整个首页只使用大的Flash或者页面到处都是Flash，这就变成了一个蜘蛛陷阱。虽然搜索引擎一直在努力克服这方面的爬虫问题，但目前效果还不是很好，所以我们只能主动避免这些问题。

　　目前的flash也很难被蜘蛛识别，这对于搜索引擎来说也是一种莫名其妙的东西，所以视觉效果再好的及时，搜索引擎也无法判断出相应的相关性。

　　四、会话ID

　　会话 ID 用户跟踪访问。结果就是用户每次访问一个页面，都会出现不同的Session ID，也就是说，访问同一个页面的时候，却出现了不同的ID，这就造成了很多重复的内容。它也不利于搜索引擎优化。

　　五、 异常跳转

　　网站 跳转的方式有很多种，比如：JS跳转、Flash跳转、302跳转等，301跳转要单独提一下，因为是搜索引擎推荐和认可的跳转，主要用当网站域名改成这个域名指向那个域名时，也可以继承旧域名的所有权重给新域名。另外，各种跳转对搜索引擎也不友好，因为跳转本身不利于蜘蛛的爬行，也就是所谓的蜘蛛陷阱。

　　一般情况下不会做这种操作。一般来说，灰帽子或黑帽子的朋友更喜欢这种操作。他们用变相引流的方法让页面跳转，但实际上无异于欺骗搜索引擎和用户。

　　六、动态网址

　　目前，动态网址对于搜索引擎来说还是可以识别的，但是如果大量的动态网址不利于蜘蛛抓取，耗时长，也不利于优化。

　　搜索引擎更喜欢静态的网站，所以很多动态的网站都会使用伪静态设置。动态URL的通俗解释是网站链接中带有各种参数、等号、问号或其他符号的链接仍然很长。对于那些有密集恐惧症的人来说，这是绝对不能容忍的。，正好蜘蛛也有这个症状（哈哈哈），其实最根本的原因就是动态网址不利于蜘蛛爬行。

　　七、登录限制

　　对于有登录限制的内容，搜索引擎既不会注册也不会登录，这样的内容蜘蛛是找不到的。

　　八、 强制使用cookies

　　目前很少有网站采用这种限制。为了让用户记住网站、登录信息、跟踪访问路径等，被迫使用cookies等，结果就是没有启用cookies。用户将无法访问，并提示页面无法正常显示，或者蜘蛛无法正常访问识别。

　　九、许多弹出的聊天窗口

　　一些网站有时会强制多个聊天窗口与用户进行交流，但这些聊天窗口无法被搜索引擎识别。

　　原创作者/公众号：策划动机