seo网站日志分析工具(如何下载网站日志1.日志日志的作用(图))

　　seo网站日志分析工具(如何下载网站日志1.日志日志的作用(图))

　　百度蜘蛛：百度蜘蛛

　　百度蜘蛛图片：百度图片蜘蛛

　　谷歌机器人：谷歌机器人

　　谷歌机器人图像：谷歌图像机器人

　　360蜘蛛：360蜘蛛

　　搜狗蜘蛛：搜狗蜘蛛

　　1、网站日志的作用

　　1.通过网站的日志，可以了解蜘蛛在网站上的基本爬行情况，知道蜘蛛的爬行轨迹和爬行量

　　2.网站 的更新频率也与 网站 日志中捕获蜘蛛的频率有关。一般来说，更新频率越高，蜘蛛捕获频率越高。我们的 网站 更新不仅仅是添加新内容，它们是我们的微调操作

　　3.根据网站日志的响应，我们可以对我们空间中的一些事情和问题进行预警，因为如果服务器出现问题，会反映在< @网站第一次登录。要知道服务器的稳定速度和开启速度会直接影响到我们的网站

　　4.通过网站日志，我们可以知道网站的哪些页面很受蜘蛛的欢迎，哪些页面甚至没有被蜘蛛触及。同时我们也可以发现一些蜘蛛爬行过度，这对我们的服务器资源来说是一个很大的损失。我们需要阻止他们

　　2、如何下载网站日志

　　1.首先，我们的空间支持网站日志下载非常重要。在购买空间时，我们需要提前知道它是否支持日志下载，有些服务商不支持。如果支持的话，空间后台一般都有日志下载功能。下载到根目录，然后FTP到本地服务器，可以设置日志文件下载到指定路径

　　2.这里有一个非常重要的问题。强烈建议将 网站 日志设置为每小时生成一次。小企业网站和内容较少的页面网站可以设置一天，默认一天。如果将内容很多的大网站设置为每天生成一次，那么每天只会生成一个文件，会非常大，有时开机会死机。如果我们设置它，我们可以找到空间提供者来协调设置

　　3、网站日志数据分析

　　1.网站日志中的数据量太大，所以我们一般需要使用网站日志分析工具来查看。常用日志分析工具包括：Lightyear日志分析工具、Web日志浏览器、WPS表等。

　　117.26.203.167---[02/May/2011:01:57:44-0700]“GET/index.php HTTP/1. 1"500 19967"-""Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS ST/5.11.3.15590.Net CLR2.0.50727; Alexa 工具栏）

　　分析：

　　117.26.203.167 访问IP

　　02/ma/2011:01:57:44-0700 访问日期时区

　　get/index.php http/1.1 根据http/1.1协议，抓取页面（域名下）/index.php（get表示服务器动作）

　　500 服务器响应状态码

　　服务器响应状态码通常如下：2404、500等。200表示用户成功获取了请求的文件。如果是搜索引擎，就证明蜘蛛在这次爬取中成功找到了一些新的内容。301表示用户访问的页面的URL有301重定向（永久），302是临时重定向。404 表示您访问的页面不存在，或者您访问的网址有误。500 是服务器错误

　　19967 表示捕获了 19967 个字节

　　Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS ST/5.11.@ > CLR 2.0.50727; Alexa Toolbar是指访问者用于访问Firefox浏览器和Alexa Toolbar等终端的信息

　　2.如果日志格式不一样，说明你的日志格式不一样

　　3.很多日志可以看到200000和2000064代表正常爬取

　　4.爬取频率是通过查看每日日志百度蜘蛛爬取次数得到的。爬网频率没有标准的时间表或频率编号。我们一般通过比较几天的日志来判断。当然，我们希望百度蜘蛛每天尽可能多爬几次

　　5.有时候我们的路径不统一，有没有斜杠有问题，蜘蛛会自动识别301，跳转到有斜杠的页面，这里发现搜索引擎可以判断我们的目录，所以我们需要统一我们的目录

　　6、我们分析了很久的日志，可以看到蜘蛛的爬取规则。可以看到同一目录下单个文件的爬取频率区间和不同目录下的爬取频率区间。这些爬取频率间隔由蜘蛛根据 网站 权重和 网站 更新频率确定

　　自动确定。7.蜘蛛爬取我们的页面是有层次的，按照权重的降序排列，一般的顺序是首页、目录页、内页

　　4、来自 网站 的日志

　　1.我们购买的空间稳定吗？

　　2.蜘蛛比其他蜘蛛更喜欢哪些页面

　　3.蜘蛛多久爬一次我们的网站，我们什么时候需要更新内容

　　，所以不管是新的网站还是旧的网站，无论你是百度还是谷歌，我们都可以通过网站日志分析蜘蛛的抓包情况；如果 网站 是长期采集如果 网站 有问题，那么我们也可以对比一下搜索引擎蜘蛛在 网站 日志中的行为，了解 网站 有什么问题@网站; 如果网站被阻塞了，或者被K阻塞了，我们可以通过观察网站日志找出原因。我们希望看到对 网站 日志的分析和诊断就像为 网站 看病一样。通过分析网站的日志，我们可以简单明了的了解网站的健康状态，从而帮助我们更好的优化网站。因此，对于真正的 SEO 专家来说，