seo网站日志分析工具( 第一、确定是否有蜘蛛过来爬行如何确定？(图))

　　seo网站日志分析工具(

第一、确定是否有蜘蛛过来爬行如何确定？(图))

　　因为从事SEO网站优化，所以慢慢关注网站日志。网站日志分析已经成为我每天做的第一件事。每天到公司的时候，都会分析昨天的网站日志。但是，也有少数人认为分析网站日志是浪费时间。每天看那些数据有什么用？我认为我们至少可以理解三件事。

　　一、 判断有没有蜘蛛过来爬

　　如何判断蜘蛛是否开始爬行：

　　1、 看网站日志代码看，这个是针对分析师的

　　2、 通过网站日志分析工具观看，这个比较适合新手

　　通过网站日志分析工具，您可以直接查看网站的哪些页面被蜘蛛爬过。

　　二、 客户 ip 将知道蜘蛛类型。

　　1、220.181.108.* ip段百度蜘蛛（提权蜘蛛）

　　2、123.125.71.*ip段的百度蜘蛛（劣质文章抓蜘蛛）

　　3、123.125.68.*ip段的百度蜘蛛（检查蜘蛛）

　　4、117.28.255.*百度蜘蛛的ip段（假蜘蛛）

　　三、 检查页面状态是否正常

　　通过URL日志，我们可以通过服务器响应码直接看到我们的哪些页面有问题，哪些是正常的。一般情况下，如果返回的状态码为200，则表示正常，如果出现404，则表示页面有问题。

　　四、 搜索引擎对网站的友好度

　　从网站日志中，我们可以直接看到爬到我们网站的蜘蛛数量。爬行次数越多，蜘蛛对我们的网站就越友好。

　　我们可以直接看到爬取我们网站的蜘蛛数量，但是爬取次数中也有假蜘蛛，所以我们还需要通过客户端ip来确认哪些是真蜘蛛，哪些是仿冒的。

　　通过对以上三点的理解，进一步探索以上四点：

　　一、 我们可以直接查看哪些页面被爬取，哪些页面没有被爬取。随着算法的不断更新，新站的审核周期越来越长，以至于新站主更新的很多文章都通过了site:域名，搜索索引不显示。这主要是因为搜索引擎卡住了，没有及时发布。

　　二、 我们可以通过客户端的ip识别站点安全信息和文章内容质量

　　根据不同的IP，我们可以分析网站的状态。以下是常见的百度蜘蛛IP：

　　1、123.125.68.*经常来，但很少有人，那么站点进入沙箱或被降级的可能性非常高。

　　2、220.181.68.* 如果每天只增加不减少，则是进入沙盒或被降级的标志。

　　3、220.181.7.*, 123.125.66.* 搜索引擎开始抢东西。

　　4、121.14.89.*去掉新站的检查期。

　　5、203.208.60.*站点开始异常。

　　6、210.72.225.*该ip段连续巡视所有站点。

　　7、220.181.108.* 优质文章内容页面或首页爬取。

　　一般爬取成功的返回码是200 0 0，如果返回状态显示为304 0 0，说明网站没有更新，蜘蛛来了，但是没有被爬取。如果是20000 64，那就不用担心了，这只是一些动态页面的爬取而已。

　　三、 如果服务器返回状态，例如200表示正常访问。404 表示该页面不存在。304 表示该网页尚未更新。这些可以通过网站日志中的代码直接看到。如果有大量的404，对这些404页面采取措施是非常有必要的。我们可以使用robots.txt协议来屏蔽这些页面，防止搜索引擎抓取这个页面。

　　四、 真正的蜘蛛来的越多越好！

　　好，下面介绍一下网站日志。可以通过以下两种方式获取网站日志：

　　1、ftp 空间日志文件夹

　　2、登录你站点的服务器，通常网站日志的位置是C:\WINDOWS\system32\LogFiles

　　更多网站优化信息，欢迎访问我们，相信一定会对大家有所帮助。