seo网站日志分析工具(略懂网站日志分析如何确定是否有蜘蛛过来爬行(图))

　　seo网站日志分析工具(略懂网站日志分析如何确定是否有蜘蛛过来爬行(图))

　　自从从事了SEO网站优化，慢慢的关注了网站的日志。网站日志分析变成自己

　　我每天做的第一件事就是一到公司就分析昨天的网站日志。或许

　　部分站长还没有分析过网站的日志，可以看之前皇冠网编辑发布的文章

　　“略懂网站日志分析，网站更安全”，但也有少数人觉得分析网站日志是浪费时间，

　　看看这些数据每天都在做什么。说到这里，小编认为至少有三点我们可以理解。

　　没有。一、 判断是否有蜘蛛过来爬行

　　如何判断蜘蛛是否来爬：

　　1、 观看 网站 日志代码，针对分析专家

　　2、通过网站日志分析工具观看，比较适合初学者

　　通过网站日志分析工具，可以直接查看网站的哪些页面被蜘蛛爬取过。

　　二、 客户端 IP 将知道蜘蛛类型。

　　1、220.181.108.*百度蜘蛛的ip段（提权蜘蛛）

　　2、123.125.71.*ip段百度蜘蛛（不如文章抓蜘蛛）

　　3、123.125.68.*百度蜘蛛（检查蜘蛛）的ip段

　　4、117.28.255.*ip段百度蜘蛛（假蜘蛛）

　　5、。. . . . .

　　Section 三、 检查页面状态是否正常

　　通过URL日志，我们可以直接看到服务器响应码，看看我们哪些页面有问题，哪些是正常的。

　　一般情况下，如果返回的状态码是200，说明正常，如果有404，说明页面有问题。

　　四、 网站的搜索引擎友好性

　　从 网站 日志中，我们可以直接看到爬到我们站点的蜘蛛数量。爬行次数越多，蜘蛛越多

　　对我们的网站更友好。从上图我们可以直接看到蜘蛛爬取我们网站的次数，

　　不过这里的爬取次数也有假蜘蛛，所以我们还需要通过客户ip来确认哪些是假的。

　　是真的蜘蛛，哪些是假的。这可以在“了解网站日志分析，网站更安全”中找到

　　图文教程，如何辨别真假蜘蛛，这里就不介绍了。通过了解以上三点，

　　对以上四点进一步探索：

　　对于上面的一、，我们可以直接查看哪些页面被爬取，哪些没有被爬取。随着算法的不断更新，

　　新站的审核周期越来越长，以至于很多新站长通过site:域名更新文章，搜索收录却显示不出来。

　　这其中大部分是因为搜索引擎陷入困境，没有及时发布。

　　对于上述二、我们可以通过客户端ip识别网站安全信息和文章内容质量

　　根据不同的IP，我们可以分析网站的状态，常见的百度蜘蛛IP如下：

　　1、123.125.68.*如果你来的比较频繁，别人来的比较少，网站进入沙箱或者被降级的可能性很大.

　　2、220.181.68.*每天只增加不减少，这是进入沙盒或被降级的标志。

　　3、220.181.7.*, 123.125.66.* 搜索引擎开始爬取。

　　4、121.14.89.*摆脱新站巡检期。

　　5、203.208.60.*网站启动异常。

　　6、210.72.225.*这个ip段连续巡站。

　　7、220.181.108.*高质量文章内容页面或主页抓取。

　　一般抓取成功的返回码是200 0 0，如果返回状态显示304 0 0，说明网站没有更新。

　　蜘蛛来了，但没有抓住它们。如果是200 0 64，那就不用担心了，只是一些动态页面爬取而已。

　　对于上面的三、，如果服务器返回一个状态，比如200，则表示正常访问。 404 表示页面不存在。

　　304 表示网页没有更新。这些可以通过网站日志中的代码直接看到。如果出现大量404，

　　那么对这些404页面采取措施是非常有必要的。我们可以使用 robots.txt 协议屏蔽这些页面，

　　不要让搜索引擎抓取这个页面。

　　以上四、真蜘蛛，来的次数越多越好！

　　好吧，我们把它介绍到 网站 日志中。网站日志可以通过两种方式获取：

　　1、 ftp 空间日志文件夹

　　2、 登录到你站点的服务器，通常是 网站日志位置 C:\WINDOWS\system32\LogFiles