网站的SEO优化过程中不免会分析(图)

　　网站的SEO优化过程中不免会分析(图)

　　网站在网站的SEO优化过程中难免会分析网站日志。 网站日志的分析诊断，就像给网站看病一样。通过对网站日志网站的健康状况的分析我们可以更清楚的知道，利用这些数据更有利于网站SEO优化。

　　通过网站日志，可以清楚的知道用户在什么IP下访问了你网站的哪个页面，什么时间，什么操作系统，什么浏览器，什么分辨率监视器，访问是否是成功的 。对于专门从事搜索引擎优化的工作者来说，网站日志可以记录每个搜索引擎蜘蛛机器人爬取网站的详细信息，例如：百度蜘蛛机器人访问了网站的哪个IP，访问了多少次？显示哪些页面，访问页面时返回的HTTP状态码。

　　

　　常见蜘蛛名称：

　　百度蜘蛛：百度蜘蛛

　　Baiduspider-Image：百度图片蜘蛛

　　Googlebot：Google 机器人

　　Googlebot-Image：Google Image Robot

　　360Spider：360 蜘蛛

　　搜狗蜘蛛：搜狗蜘蛛

　　一、网站日志的作用

　　1、可以通过网站日志了解蜘蛛对网站的基本爬行，了解蜘蛛的爬行轨迹和爬行量。

　　2、网站的更新频率也与网站日志中蜘蛛的爬行频率有关。一般来说，更新频率越高，蜘蛛爬取的频率就越高，而我们网站的更新不仅仅是新内容的添加和我们的微调操作。

　　3、我们可以根据网站日志的反应，对我们空间中的某些事情和问题进行预警，因为如果服务器出现问题，会反映在网站日志中尽早。要知道服务器的稳定速度和打开速度都会直接影响到我们的网站。

　　4、通过网站日志，我们可以知道网站的页面很受蜘蛛欢迎，哪些页面没有被蜘蛛触及。同时我们也可以发现有一些蜘蛛因为过度爬取消耗了我们大量的服务器资源，我们不得不进行屏蔽工作。

　　二、如何下载网站日志

　　1、 首先，我们的空间必须支持网站日志下载。这个非常重要。购买空间时需要提前了解是否支持日志下载，因为部分服务商不提供此服务。如果支持，空间后台一般都有日志WebLog日志下载功能。下载到根目录，通过FTP上传到本地。如果使用服务器，可以设置将日志文件下载到指定路径。

　　2、 这里是一个非常重要的问题。 网站 日志强烈建议每小时生成一次。对于小型企业网站和内容较少的页面网站可以设置为一天，默认为一天。如果内容很多或者一个大站点设置为一天生成一次，那么一天只会生成一个文件。这个文件会很大。有时，当计算机打开时，它会导致死机。如果你设置好了，你可以找一个空间提供商来协调设置。

　　三、网站日志数据分析

　　1、网站日志中的数据量太大，所以我们一般需要使用网站日志分析工具来查看。常用的日志分析工具包括：光年日志分析工具、网络日志浏览器、WPS表单等。

　　117.26.203.167--[02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "- ""Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NET CLR 2.0.50727；Alexa 工具栏）"

　　分析：

　　117.26.203.167 访问ip；

　　02/May/2011:01:57:44 -0700 访问日期-时区；

　　GET/index.php HTTP/1.1 根据HTTP/1.1协议抓取（域名下）/index.php这个页面（GET表示服务器动作）；

　　500 服务器响应状态码；

　　服务器响应状态码通常有以下状态码：200、301、302、304、404、500等。200表示用户成功获取到请求的文件。如果是搜索引擎，就证明蜘蛛在这次爬行过程中成功发现了一些新的内容。而301表示用户访问的某个页面的URL被301重定向（永久），302是临时重定向。 404 表示访问的页面不再存在，或者访问的 URL 是错误的。 500 是服务器错误。

　　19967 表示捕获了 19967 个字节；

　　Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NET CLR2.0.50727; Alexa Toolbar是指访问者使用火狐浏览器和Alexa Toolbar等访问终端信息；

　　2、如果你的日志格式不一样，说明日志格式设置不一样。

　　3、在很多日志中可以看到200 0 0和200 0 64都代表正常爬取。

　　4、 爬取频率是通过查看每日日志中百度蜘蛛爬取的次数获得的。爬行频率没有标准的时间表或频率编号。我们一般通过比较多天的日志来判断。当然，我们希望百度蜘蛛每天尽可能多地抓取。

　　5、有时候我们的路径不统一，有没有斜线都有问题，蜘蛛会自动识别为301跳转到有斜线的页面。这里发现搜索引擎可以判断我们的目录，所以要统一我们的目录。

　　6、 我们分析日志已经很久了。我们可以看到蜘蛛的爬行规则。可以看到同一目录下单个文件的爬取频率间隔和不同目录下的爬取频率间隔。这些爬行的频率间隔是由蜘蛛根据网站权重和网站更新频率自动确定的。

　　7、 Spider 对我们的页面进行分层爬取，按照权重降序，一般顺序是首页、目录页、内页。

　　四、通过网站日志我们可以知道什么？

　　1、我们买的空间稳定吗？

　　2、 Spider 喜欢我们的网页，哪些不喜欢？

　　3、蜘蛛什么时候频繁抓取我们的网站，我们什么时候需要更新内容？

　　总结：

　　所以不管是新站还是老网站，不管你是百度还是谷歌，我们都可以通过网站log来分析搜索引擎蜘蛛的爬取情况；如果网站长收录有问题，那么我们也可以对比网站日志中搜索引擎蜘蛛的行为，了解网站出了什么问题；如果网站被屏蔽或者K，大家可以通过观察网站日志的情况来了解原因在哪里。我们要查看的网站日志的分析诊断就像给网站看病一样。通过对网站日志的分析，我们可以简单明了的知道网站的健康状况，可以帮助我们更好的做网站优化，所以对于真正的SEO高手来说，分析蜘蛛日志是最直观有效的量.