php抓取网页域名(网站重定向极为普遍的原因及解决办法（一）)

　　php抓取网页域名(网站重定向极为普遍的原因及解决办法（一）)

　　HttpWatch 是集成在 Internet Explorer 工具栏中的功能强大的 Web 数据分析工具。包括网页摘要、cookies管理、缓存管理、消息头发送/接收、字符查询、报表输出、POST数据和目录管理功能。

　　在IE工具栏-浏览器栏-httpwatch中查看打开，或者使用快捷键shift+F2打开。

　　状态为：301状态成功从demo1.php跳转到demo9.php，验证301重定向设置成功。

　　ab173 站长工具

　　ab173站长工具是业内知名的站长工具。它的功能很丰富，点击http状态码查询，输入网址，可以查询网站的http状态码，确定是301而不是302.

　　案例研究：网站302 重定向的不当使用导致 GOOGLE 的惩罚

　　它是互联网上最大的商业搜索引擎和分类目录。它以专业提供商业信息而闻名，包括近190,000个网页。如果您在 Google 中搜索“business”为 关键词，则此 网站 将排名第一。然而，在2010年9月5日，奇怪的事情发生了：它的首页PR从8变为0，并且在谷歌搜索结果中找不到首页。好在只有首页被“蒸发”了。好在第二天首页又回到了谷歌的搜索结果，但是PR还是0。

　　问题在于它的重定向命令。网站 让你跳转到。这个重定向应该是永久性的，而 302 是一个临时重定向。仅当 网站 或网页在 24 到 48 小时内临时移动时 该命令只能在其他位置使用。但是错误地使用了“HTTP/1.1 302 Object Moved”状态代码。

　　事实上，网站 重定向是极其常见的。比如你对原来的域名不满意，申请了一个新的域名，你买了一个容易拼错的域名，防止客户因为你拼错而找不到网站网址。还有很多。但是，很多人会因为使用错误的重定向状态码而遭受“站的灾难”，就像。虽然他们重定向的理由是合理的，但如果使用不当，可能会被谷歌误认为使用多个域名指向同一个网站，那么你的网站就会被屏蔽，并且罪名是“使用重复内容干扰Google搜索结果的网站排名”。这是对过去最好的教训。只是大多数使用错误重定向参数的网站都没有那么幸运。一个小小的重定向可能会抹杀网站之前的努力，只能重新开始：重新申请一个新域名，重新发布一个新域名。@网站 等。请记住：Google 绝不会同情任何人的错误，即使他们不小心犯了错误。

　　域名重定向

　　路由的改变也是数据报文路径的一种重定向。

　　我们在构建我们的网站的过程中，经常会遇到需要网页重定向的情况：比如网站调整，网站的目录结构发生变化，网页移动到一个新的地址。或者更改网页的扩展名，如因应用需要将.php 改为.Html 或.shtml。在这些情况下，如果不进行重定向，用户采集夹或搜索引擎数据库中的旧地址只能让访问客户得到一个404页面错误信息，访问流量白白流失。比如一些注册了多个域名的网站，还需要自动将访问这些域名的用户重定向到主站，等等。

　　重定向方法

　　常用的重定向方式有：301重定向、302重定向、js重定向和meta fresh：

　　301 重定向:: 301 代表永久移动。301重定向是改变网页地址后对搜索引擎友好的最佳方式。只要不是临时移动，建议使用301进行重定向。

　　永久页面移除（301重定向）是一项非常重要的“自动重定向”技术。URL 重定向是最可行的方法。当用户或搜索引擎向网站服务器发送浏览请求时，服务器返回的HTTP数据流中header中的状态码之一表示该网页已永久转移到另一个地址。

　　302 重定向:: 302 代表临时移动。在过去的几年中，许多黑帽 SEO 都广泛使用这种技术来作弊。目前各大搜索引擎都加大了打击力度，比如谷歌前几年和最近对德国宝马网站的处罚。即使网站客观上不是垃圾邮件，也很容易被搜索引擎误判为垃圾邮件而受到惩罚。

　　什么是 302 重定向？

　　302重定向也叫302代表Temporously Moved，英文名称：302 redirect。它也被认为是一种临时重定向，向 网站 浏览器发出指令以显示浏览器需要显示的不同 URL，当网页经历了短期 URL 更改时使用。临时重定向是一种服务器端重定向，可以被搜索引擎蜘蛛正确处理。

　　302重定向和URL劫持

　　当做一个从 URL A 到 URL B 的 302 重定向时，宿主服务器的隐含含义是 URL A 可能随时改变主意，重新显示其内容或重定向到其他地方。大多数搜索引擎，在大多数情况下，在收到302重定向时，一般只需要爬取目标URL，即URL B。 如果搜索引擎在遇到302重定向时，爬取了目标URL B的100%，无需担心 URL 劫持。问题在于，有时搜索引擎，尤其是 Google，无法始终抓取目标 URL。比如有时候A的URL很短，但是却做了302重定向到B的URL，而B的URL是一个很长很乱的URL，甚至可能收录一些问号等参数。自然，URL A 对用户更友好，而 URL B 丑陋且不友好。此时，谷歌很可能还是会显示URL A。由于搜索引擎排名算法只是一个程序而不是一个人，当遇到302重定向时，无法准确判断哪个URL更适合像人，这就产生了URL的可能劫持。也就是说，一个*敏*感*词*的人在他自己的网站A上做了302重定向到你的网站B。出于某种原因，谷歌搜索结果仍然显示网站A，但使用的网页内容是你网站B上的内容，这这种情况称为网站 URL 劫持。你写的这么辛苦的内容被别人盗用了。302重定向导致的URL劫持已经存在一段时间了。但到目前为止，似乎没有更好的解决方案。在正在进行的 Google Big Daddy 数据中心转换中，302重定向问题也是需要解决的目标之一。从部分搜索结果来看，URL劫持的现象有所改善，但并未完全解决。

　　301重定向和302重定向的区别

　　302重定向是一种临时重定向，搜索引擎会抓取新内容并保存旧网址。由于服务器去了302代码，搜索引擎认为新的URL只是暂时的。

　　301 重定向是永久重定向。当搜索引擎获取新内容时，它还会将旧 URL 交换为重定向 URL。

　　元新鲜：这在 2000 年前比较流行，但现在很少见了。具体来说，它通过网页中的meta命令在一定时间后重定向到一个新的网页。如果延迟时间太短（5秒左右），就会被判定为垃圾邮件。