案例研究:SEO优化如何进行网站日志分析

　　案例研究:SEO优化如何进行网站日志分析

　　网站 的 SEO 优化过程不可避免地会分析 网站 日志。网站日志的分析和诊断就像为网站看病一样。分析，可以更清楚地了解网站的健康状况，利用这些数据更有利于进行网站SEO优化。

　　通过网站日志，可以清楚的知道用户在什么IP下访问了你网站的哪个页面，什么时间，什么操作系统，什么浏览器，用什么分辨率的显示器，是否访问成功. 对于从事搜索引擎优化的专业人士来说，网站日志可以记录每个搜索引擎蜘蛛机器人爬行的详细信息网站，例如：百度蜘蛛机器人访问了哪个IP网站多少次，访问了哪些页面，以及访问该页面时返回的 HTTP 状态代码。

　　常见的蜘蛛名称：

　　百度蜘蛛：百度蜘蛛

　　百度蜘蛛-图片：百度图片蜘蛛

　　谷歌机器人：谷歌机器人

　　Googlebot-Image：谷歌图片机器人

　　360蜘蛛：360蜘蛛

　　sogospider：搜狗蜘蛛

　　1.网站日志的作用

　　1、通过网站日志可以了解网站上蜘蛛的基本爬行情况，可以知道蜘蛛的爬行轨迹和爬行量。

　　2、网站的更新频率也和网站的日志中蜘蛛爬行的频率有关。一般来说，更新频率越高，蜘蛛的爬行频率就越高。更新不仅是添加新内容，还包括我们的调整。

　　3.根据网站日志的响应，可以对我们空间中的某些事情和问题进行预警，因为如果服务器出现问题，会反映在网站 尽快登录。注意无论是服务器的稳定速度还是打开速度都会直接影响到我们的网站。

　　4、通过网站日志可以知道网站的页面很受蜘蛛的欢迎，哪些页面甚至没有被蜘蛛触及。同时我们也可以发现，有些蜘蛛是过度爬行，消耗了我们大量的服务器资源，需要我们进行屏蔽工作。

　　2.如何下载网站日志

　　1.首先我们的空间应该支持网站日志下载。这个非常重要。在购买空间的时候，我们需要提前知道它是否支持日志下载，因为有些服务商不提供这个服务。如果支持的话，一般空间后台都有日志WebLog日志下载功能。可以下载到根目录，通过FTP传输到本地。如果配置了服务器，可以将日志文件下载到指定路径。

　　2. 这里有一个很重要的问题。网站强烈建议每小时生成一次日志。小型企业网站和页面内容较少的 网站 可以设置为一天。默认为一天。如果内容很多，或者设置的网站很大，一天生成一次，那么一天只会生成一个文件，这个文件会很大。有时，当我们的计算机打开时，它会导致崩溃。如果你设置它，你可以找到一个空间商来协调设置。

　　3、网站日志数据分析

　　1、网站日志数据量太大，一般需要使用网站日志分析工具查看。常用日志分析工具包括：光年日志分析工具、网络日志浏览器、WPS表单等。

　　117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (兼容; MSIE 8.0;Windows NT 5.1;Trident /4.0;AskTbCS-ST/5.11.3.15590;.NETCLR 2.0.50727;Alexa 工具栏)"

　　分析：

　　117.26.203.167访问ip；

　　02/May/2011:01:57:44 -0700AccessDate-Timezone;

　　GET/index.php HTTP/1.1根据HTTP/1.1协议获取页面/index.php（域名下）（GET表示服务器动作）；

　　500服务器响应状态码；

　　服务器响应状态码通常有以下几种状态码：200、301、302、304、404、500等。200表示用户成功获取了请求的文件。如果是搜索引擎，说明蜘蛛在这次爬取中成功发现了一些新的内容。而301表示用户访问的一个页面url已经被301（永久）重定向了，302是临时重定向。404 表示访问的页面不存在，或者访问的 url 根本就是错误的。500 是服务器错误。

　　19967 表示抓取了 19967 个字节；

　　Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NETCLR 2.0.50727；Alexa Toolbar表示访问者使用Firefox浏览器和Alexa Toolbar等访问终端信息；

　　2.如果你的日志中的格式不一样，说明日志格式设置不一样。

　　3、在很多日志中可以看到200 0 0和200 0 64代表正常爬取。

　　4、爬取频率是通过查看每日日志中百度蜘蛛的爬取次数得出的。爬行频率没有标准化的时间表或频率编号。我们一般通过比较多天的日志来判断。当然，我们希望百度蜘蛛每天爬的次数越多越好。

　　5. 有时我们的路径并不统一，有斜线和没有斜线。蜘蛛会自动识别为 301 并跳转到带有斜杠的页面。在这里我们发现搜索引擎可以判断我们的目录。，所以我们需要统一我们的目录。

　　6、我们分析日志很久了。我们可以看到蜘蛛的爬行规则。可以看到同一目录下单个文件的爬取频率区间和不同目录下的爬取频率区间。爬取频率间隔时间由蜘蛛根据网站权重和网站更新频率自动确定。

　　7、蜘蛛对我们页面的爬取是分级的，权重依次递减。一般顺序是首页、目录页、内页。

　　4.通过网站日志我们可以知道什么？

　　1、我们买的空间能稳定吗？

　　2.蜘蛛更喜欢哪些页面，不喜欢哪些页面？

　　3、蜘蛛什么时候会频繁爬取我们的网站，什么时候需要更新内容？

　　总结：

　　所以不管是新站还是旧站网站，无论你是百度还是谷歌，我们都可以通过网站日志分析搜索引擎蜘蛛的爬取情况；如果网站长时间收录有问题，那么我们也可以对比一下网站日志中搜索引擎蜘蛛的行为，了解网站出了什么问题; 如果 网站 被阻塞，或者是 K，我们都可以通过查看 网站 日志知道原因在哪里。我们要查看的网站日志的分析和诊断就像为网站看病一样。通过对网站日志的分析，我们可以简单明了的知道网站的健康状态。，可以帮助我们做更好的网站优化，所以对于真正的SEO专家来说，

　　微信公众号（xiaomzmt）非知名草根自媒体，IT博主，SEO，网络营销干货店！资源：

　　解决方案:白杨SEO：不是技术的技术文，关于网站性能优化与网站日志分析

　　前言：一周没写SEO文章，比较忙。先参加百度沙龙，后参加微信生态新媒体沙龙。另外，我有SEO顾问的合作，但我承诺每周原创，所以不能食言。

　　离家近一点。你为什么想到写这个？是因为有更多的人可能看到它，还是因为我有经验？两者都不。说实话，如果不是朋友提到，我也不敢写这个标题（毕竟我没写过代码，虽然和程序员朋友打过交道很多）。如果这个网站的表现能由我做运维的朋友大强来写就更好了。

　　（无图无实图，不好意思，聊天截图贴出来哈哈）

　　说到网站的日志分析，我在做SEO的时候确实跟郑大哥学了一些东西（下面是我当时做的笔记郑大哥分享的），然后就去听了郑大哥的演讲。国平（提倡科学SEO的SEM）家族博主，前阿里巴巴SEO大师）说过一些。还使用了他的光年测井分析工具。好吧，我只能从SEO的角度讲，网站性能优化有哪些方面，怎么看日志分析~

　　网站性能优化

　　在说网站性能优化之前，我们首先要了解网站性能优化是什么，为什么要优化，也就是网站性能优化的作用。

　　网站 性能优化，据我了解，这意味着 网站 的前端和后端都应该进行优化。什么是前端？比如我们打开百度，显示你能看到的页面就叫做前端。后端是什么鬼？是程序员写的代码和数据库等。你可以用crtrl+u查看网站源码。

　　无论你是博客、企业网站，还是平台网站，比如像1688这样上亿页的网站都需要性能优化。我们先来看两张图：

　　以上两个，一个来自1688，一个来自中文网库。1688响应时间为4ms，网库响应时间为192ms。这里的响应时间是指从用户打开网站到完全显示的时间。从图中，你可能会觉得网络库很差？如果你看那数百毫秒甚至数千毫秒，那很好。刚查了一下，京东14毫秒。对于搜索引擎和用户来说，响应越快，对 SEO 来说就越好。那么为什么做SEO服务器和性能优化很重要。

　　PS，我告诉你，有些人为了省钱，在中国做生意使用香港或外国服务器，现在阿里云服务器，不超过50ms）。也有人将国内服务器用于国外业务。当然，也有人说我的首页内容很多，速度变慢是正常的。其实那是因为你没有优化，1688首页的内容少了哈哈哈。别说阿里有多少技术。首先，你要有一个性能优化的思维。

　　网站如何优化性能？

　　从SEO的角度来看，我们会更加关注网站的整个首页是否被压缩，然后是首页图片是否经过优化和压缩。然后是首页 网站 代码简洁吗？很多公司网站以为自己要漂亮，做各种FLASH，大图，其实这样不好。在这里，我们将使用一个工具 GTMTRIX: 来检测它，然后让技术帮助优化。还有像谷歌这样官方的：谷歌PageSpeed和雅虎的Yslow。

　　（一张网站用GTMTRIX测试过的截图，看图一栏）

　　尽量简化页面设计，尽量减少图片的使用，通过放弃一些不必要的页面效果来减少javascript的使用。利用图片的背景位移减少图片数量，利用Inline图片将CSS图片捆绑成网页。

　　在优化代码中，尽量合并js和css文件，减少独立文件的数量，将CSS放在页面顶部，JS文件放在页面底部，同时最小化JS文件

　　不要在网页中引用过多的外部脚本。一个DNS解析过程会消耗20-120毫秒，这会增加DNS查询时间。其次，如果你在页面中引用了过多的外部文件（如各种广告、附属代码等），可能会因为外部文件的响应速度而拖慢你的网站。如果必须使用它，请尝试将这些脚本放在页脚中。比如我添加了百度统计代码（下）。

　　当然，上面写的只是性能优化的杯水车薪。例如，如果 网站 很大，最好做缓存和预加载，或者延迟加载某些内容。作为技术高手，编这么多真的不容易哈哈哈。阅读专业技术文章：如果不能跳转链接，去阅读原文阅读我的博客，点击跳转。

　　网站日志分析

　　（六年前郑哥（技术大师）给网站日志分析笔记）

　　网站日志，先说一下SEO的基础学习什么是网站日志。所谓网站日志，就是用户访问网站时留下的记录，我们称其为写入日志。每当 网站 流量下降或发生什么事情时，我们通常会下载 网站 日志进行分析。

　　网站日志一般在哪里？一般情况下，你可以通过你的FTP（什么鬼？文件传输工具）登录到你的服务器空间，找到里面的wwwlogs日志，然后下载。如果您的服务器是第三方服务提供商，您可以要求他们为您下载。

　　网站日志分析有什么用？很多人会问。百度分析工具，或者站长分析工具都看不到IP，PV，这些的来源，为什么还要看日志。事实上，无论是百度分析工具还是第三方统计工具，都没有比这更准确的日志了。尤其是很多第三方工具，统计的IP只能做参考。更重要的是，某天网站流量暴涨暴跌，需要查询日志才能找到原因。比如笔者在负责B2B平台的时候，经常看日志分析。现在个人博客流量太小了，忽略吧哈哈。

　　网站日志是什么样的？白杨在网上随便找了一个。