php禁止网页抓取(如何禁止搜索引擎抓取我们网站的动态网址呢？(图))

　　php禁止网页抓取(如何禁止搜索引擎抓取我们网站的动态网址呢？(图))

　　所谓动态网址是指收录?、&等字符的网址，如news.php?lang=cn&class=1&id=2。当我们开启网站的伪静态时，对于@网站 SEO，要避免搜索引擎爬取我们的动态网址网站。

　　你为什么要这样做？因为搜索引擎在对同一个页面爬了两次但最终确定是同一个页面后会触发网站。具体处罚不明确。，总之，不利于整个网站的SEO。那么如何禁止搜索引擎抓取我们的动态网址网站呢？

　　可以使用robots.txt文件来解决这个问题，具体操作请看下面。

　　我们知道动态页面有一个共同的特点，就是会有一个“？” 链接中的问号符号，因此我们可以在robots.txt文件中写入以下规则：

　　用户代理： *

　　不允许： /*？*

　　这将禁止搜索引擎抓取网站的整个动态链接。另外，如果我们只想让搜索引擎抓取特定类型的文件，比如html格式的静态页面，我们可以在robots.txt中加入如下规则：

　　用户代理： *

　　允许：.html$

　　不允许： /

　　另外，记得把你写的robots.txt文件放在你的网站的根目录下，否则是不行的。此外，还有一个简单的快捷方式来编写规则。登录google网站管理员工具，在里面写规则，生成robots.txt文件即可。