搜索引擎如何抓取网页(2.使用nofollow标签加上不想被收录的内容页面)

　　搜索引擎如何抓取网页(2.使用nofollow标签加上不想被收录的内容页面)

　　1.在FLASH中展示你不想成为的内容收录

　　众所周知，搜索引擎对FLASH中内容的抓取能力有限，无法完全抓取FLASH中的所有内容。不幸的是，不能保证 FLASH 的所有内容都不会被抓取。因为 Google 和 Adob​​e 正在努力实现 FLASH 捕获技术。

　　2.使用robos文件

　　这是目前最有效的方法，但它有一个很大的缺点。只是不要发送任何内容或链接。众所周知，在SEO方面，更健康的页面应该进进出出。有外链链接，页面也需要有外链网站，所以robots文件控件让这个页面只能访问，搜索引擎不知道内容是什么。此页面将被归类为低质量页面。重量可能会受到惩罚。这主要用于网站 管理页面、测试页面等。

　　3.使用nofollow标签来包装你不想成为的内容收录

　　这种方法并不能完全保证不会是收录，因为这不是一个严格要求必须遵守的标签。另外，如果有外部网站链接到带有nofollow标签的页面。这很可能会被搜索引擎抓取。

　　4.使用Meta Noindex标签添加follow标签

　　这种方法既可以防止收录，也可以传递权重。想通过，就看网站工地主的需要了。这种方法的缺点是也会大大浪费蜘蛛的爬行时间。

　　5.使用robots文件，在页面上使用iframe标签显示需要搜索引擎的内容收录

　　robots 文件可以防止 iframe 标签之外的内容成为 收录。因此，您可以将您不想要的内容 收录 放在普通页面标签下。而想要成为收录的内容放在iframe标签中。