seo网站日志分析工具(如何分析网站日志中的内容?新手SEO站长怎么做)

　　seo网站日志分析工具(如何分析网站日志中的内容?新手SEO站长怎么做)

　　作为一个站长，如果你连网站日志的内容都不知道，或者根本不理会它，我只能说你是一个无能的网站站长，曾经网站出了问题，你一定是束手无策！即使你掌握了SEO的基础知识，你也必须擅长分析网站日志。

　　很多新手SEO站长可能觉得不分析网站日志并不重要。相信大家都在自己的网站上安装了网站统计代码，比如谷歌分析、量子统计、百度统计、cnzz、51.la等，这些工具可以统计网站，但是这些统计工具都不能统计你主机上资源的原创访问信息，比如谁下载了某张图片，也不能统计没有添加统计代码的地方，比如后台操作页。

　　大多数计费主机提供原创访问日志。网站服务器会自动记录每个访问者访问的一些信息并保存在原创访问日志文件中。如果您的主机不提供日志功能，我们建议您在过期后更换主机。日志记录了网站上所有资源的访问信息，包括网页打开过程中加载的图片、CSS、JS、FLASH、HTML、MP3等资源。同时，它记录了谁访问和使用了这些资源。访问了什么，访问的结果如何等等，可以说原创访问日志记录了主机的所有资源使用情况。

　　分析网站日志的目的是什么？

　　1、我们可以准确定位搜索引擎蜘蛛爬取我们网站并拦截伪蜘蛛（这些蜘蛛主要是采集，会增加我们服务器的开销）；

　　2、通过分析网站的日志，我们可以准确定位到搜索引擎蜘蛛抓取的页面和时间长短，进而对我们的网站进行微调；

　　3、http返回一个状态码，搜索引擎蜘蛛，每次用户访问我们的网站，服务端会不会产生类似301、404、200的状态？我们可以参考这类信息，出现在我们看来网站的问题就是进行简单的诊断，及时处理问题。

　　如何分析网站的日志内容？

　　一、关注经常访问的资源

　　如果在日志中发现某个资源（网页、图片、mp3 等）被人频繁访问，那么您应该注意该资源的使用位置！如果这些请求的来源（Referer）不是你的网站或者为空，并且状态码（Http Code）是200，说明你的这些资源很可能被黑了。通过Referer，可以查到小偷的网址。这可能是你的网站流量暴增的原因，你应该做好防盗链工作。

　　二、注意网站上不存在的资源请求

　　如果请求的某些信息不是本站的资源，那么Http Code要么是403，要么是404，但从名称分析来看，可能是一个保存数据库信息的文件。如果这个信息被别人拿走了，很容易攻击你的网站太多。发起这些请求的目的无非是扫描你的网站漏洞。通过漫无目的地扫描下载这些已知的漏洞文件，你很有可能会在你的网站中发现某个漏洞！通过观察，可以发现这些请求中使用的Agents几乎都是非常规浏览器类型，如Mozilla/4.0、Mozilla/5.0或libwww-perl/，我在上面提供的日志格式化工具为这些请求集成了警报功能。我们可以通过禁止这些代理的访问来达到防止扫描的目的。下面将介绍具体的方法。

　　三、 观察搜索引擎蜘蛛的访问

　　通过观察日志中的信息，您可以看到您的网站被蜘蛛访问的频率，然后您可以看到您的网站是否受到搜索引擎的青睐，这些都是SEO关注的问题，对吧？. 日志格式化工具集成了搜索引擎蜘蛛的提示功能。常见搜索引擎蜘蛛使用的Agent列表如下：

　　谷歌蜘蛛：Mozilla/5.0（兼容；Googlebot/2.1；+）

　　百度蜘蛛：百度蜘蛛+(+)

　　雅虎！蜘蛛：Mozilla/5.0（兼容；Yahoo! Slurp/3.0;）

　　雅虎！中国蜘蛛：Mozilla/5.0（兼容；Yahoo! Slurp China；）

　　微软必应蜘蛛：msnbot/2.0b (+)

　　Google Adsense 蜘蛛：Mediapartners-Google

　　有道机器人：Mozilla/5.0（兼容；有道机器人/1.0;）

　　搜搜搜博客蜘蛛：Sosoblogspider+(+)

　　搜狗搜狗蜘蛛：搜狗网蜘蛛/4.0(+#07)

　　Twiceler 爬虫程序：Mozilla/5.0 (Twiceler-0.9)

　　谷歌图片搜索蜘蛛：Googlebot-Image/1.0

　　*敏*感*词*Yandex搜索引擎蜘蛛：Yandex/1.01.001（兼容；Win16；I）

　　Alexa 蜘蛛：ia_archiver (+)

　　Feedsky 蜘蛛：Mozilla 5.0（兼容；Feedsky 爬虫 /1.0)

　　韩国雪人蜘蛛：Yeti/1.0 (NHN Corp.;)

　　四、观察访客行为

　　通过查看格式化日志，可以查看和跟踪某个IP在一定时间内的一系列访问行为。单个IP访问记录越多，PV越高，用户粘性越好；如果单个 IP 访问记录为 xixi，则应该考虑如何使您的 网站 内容更具吸引力。通过分析访问者的行为，可以为您的网站建设提供有力的参考。哪些内容好，哪些内容不好？确定网站的发展方向；通过分析访问者的行为，可以看出他们都是你做了什么，可以猜测访问者的意图，及时发现恶意用户。

<p>总结：还有一点要介绍的是，当网站遇到搜索引擎K掉线时，网站的日志可以为我们提供掉K的原因（我是为