php禁止网页抓取(【推荐学习】有关robots怎么禁止php抓取(图))

　　php禁止网页抓取(【推荐学习】有关robots怎么禁止php抓取(图))

　　下面我给大家讲解一下如何禁止robots爬取php。相信各位朋友也应该非常关注这个话题。下面我来告诉大家如何禁止机器人爬取php。拿php的相关资料，希望大家看到后会喜欢。

　　robots禁止爬取php的方法：1、在robots.txt文件中写入“Disallow: /*?*”；2、在 robots.txt 文件中添加规则 "User-agent:* Allow" : .html$ Disallow: /"。

　　本文运行环境：Windows7系统，PHP7.1版DELL G3电脑

　　robots禁止搜索引擎抓取php动态网址

　　所谓动态URL是指URL中收录&等字符的URL，如：news.php?lang=cn&class=1&id=2 当我们打开网站的伪静态为网站 SEO 是防止搜索引擎抓取我们的 网站 动态 URL 所必需的。

　　为什么要这样做，因为搜索引擎会做一些事情来触发 网站 两次爬取同一页面但最终判断为同一页面。具体处罚是什么？这个不清楚，总之不利于整个网站的SEO。那么如何防止搜索引擎抓取我们的网站动态URL呢？

　　这个问题可以通过使用 robots.txt 文件来解决。请看下面的详细操作。

　　我们知道动态页面的一个共同特点就是会有一个“？” 链接中的问号符号，所以我们可以在 robots.txt 文件中编写如下规则：

　　User-agent: *

Disallow: /*?*

　　这将阻止搜索引擎抓取整个 网站 动态链接。另外，如果我们只想让搜索引擎抓取html格式等指定类型文件的静态页面，可以在robots.txt中添加如下规则：

　　User-agent: *

Allow: .html$

Disallow: /

　　另外，记得把写好的robots.txt文件放到你的网站根目录下，不然不行。另外，还有一个方便的写规则快捷方式登录google网站admin工具，连接规则生成robots.txt文件即可。

　　【推荐学习：《PHP 视频教程》】