seo搜索引擎优化论文(网站的SEO优化过程中不免会分析(图))

　　seo搜索引擎优化论文(网站的SEO优化过程中不免会分析(图))

　　网站 在SEO优化过程中，不可避免地会分析网站日志，而对网站日志的分析和诊断，就像为网站看病一样。我们通过网站日志通过分析，可以更清楚的了解网站的健康状况，利用这些数据更有利于网站SEO优化的开发。

　　通过网站的日志，你可以清楚的知道你的网站的哪个页面，用户是否访问过什么IP，什么时间，什么操作系统，什么浏览器，什么分辨率的显示器。成功。对于专门从事搜索引擎优化的工作者来说，网站日志可以记录每个搜索引擎蜘蛛机器人爬取的详情网站，例如：百度蜘蛛机器人在哪一天访问了哪个IP网站访问了多少次，访问了哪些页面，访问页面时返回的HTTP状态码。

　　

　　常见的蜘蛛名称：

　　百度蜘蛛：百度蜘蛛

　　百度蜘蛛-图片：百度图片蜘蛛

　　谷歌机器人：谷歌机器人

　　Googlebot-Image：谷歌图像机器人

　　360蜘蛛：360蜘蛛

　　搜狗蜘蛛：搜狗蜘蛛

　　一、网站 日志的作用

　　1、 通过网站日志，可以了解蜘蛛对网站的基本爬行，可以知道蜘蛛的爬行轨迹和爬行量。

　　2、网站的更新频率也与网站的日志中蜘蛛爬行的频率有关。一般来说，更新频率越高，蜘蛛爬取的频率就越高，而我们网站的更新不仅仅是新内容的加入，也是我们的微调操作。

　　3、我们可以根据网站日志的反应，对我们空间中的某些事情和问题进行预警，因为如果服务器有问题，会第一时间在网站 日志反映，我们要知道服务器的稳定速度和打开速度都会直接影响到我们的网站。

　　4、 通过网站日志，我们可以知道网站的那些页面很受蜘蛛的欢迎，哪些页面没有被蜘蛛触及。同时，我们可以发现一些Spider由于过度爬行而消耗了我们服务器上的大量资源，因此我们必须对其进行屏蔽。

　　二、如何下载网站日志

　　1、首先，我们的空间必须支持网站日志下载。这是非常重要的。购买空间时需要提前了解是否支持日志下载，因为部分服务商不提供此服务。是的，如果支持的话，空间后台一般都有日志WebLog日志下载功能，可以下载到根目录，然后通过FTP上传到本地。如果使用服务器，可以设置将日志文件下载到指定路径。

　　2、这是一个非常重要的问题。网站 强烈建议将日志设置为每小时生成一次。对于小型企业网站和内容较少的页面网站可以设置为一天。它默认为一天。如果内容很多或者一个大站点设置为一天生成一次，那么一天只生成一个文件。这个文件会很大。有时，当计算机打开时，它会导致死机。如果你设置好了，你可以找到一个空间提供商来协调设置。

　　三、网站日志数据分析

　　1、网站日志中的数据量太大，所以我们一般需要使用网站日志分析工具来检查。常用的日志分析工具包括：光年日志分析工具、网络日志浏览器、WPS表格等。

　　117.26.203.167--[02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1 "500 19967"-""Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NET CLR 2.0.50727；Alexa 工具栏）”

　　分析：

　　117.26.203.167访问ip；

　　02/May/2011:01:57:44 -0700 访问日期-时区；

　　GET/index.php HTTP/1.1 根据HTTP/1.1协议抓取（域名下）/index.php这个页面（GET表示服务器动作）；

　　500 服务器响应状态码；

　　服务器响应状态码通常有以下状态码：200、301、302、304、404、500等。200表示用户成功获取到请求的文件。如果是搜索引擎，就证明蜘蛛在这次爬行过程中成功发现了一些新的内容。而301表示用户访问的某个页面的URL被301重定向（永久），302是临时重定向。404 表示访问的页面不再存在，或者访问的 URL 是错误的。500 是服务器错误。

　　19967 表示已经捕获了 19967 个字节；

　　Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar是指访问者使用火狐浏览器和Alexa Toolbar等访问终端信息；

　　2、如果你的日志格式不一样，说明日志格式设置不一样。

　　3、 在很多日志中可以看到20000 0和20000 64都代表正常爬取。

　　4、 爬取频率通过查看每日日志中百度蜘蛛爬取次数获得。爬行频率没有标准的时间表或频率编号。我们一般通过比较多天的日志来判断。当然，我们希望百度蜘蛛每天尽可能多地抓取。

　　5、有时候我们的路径不统一，有没有斜线都有问题。蜘蛛会自动将其识别为 301 跳转到带有斜杠的页面。这里我们发现搜索引擎可以判断我们的目录，所以我们要统一我们的目录。

　　6、 我们分析日志很久了，可以看到蜘蛛的爬行规则。可以看到同一目录下单个文件的爬取频率间隔和不同目录下的爬取频率间隔。这些爬行的频率间隔是由蜘蛛根据网站权重和网站更新频率自动确定的。

　　7、 蜘蛛按层级顺序爬取我们的页面，按权重降序。一般顺序是首页、目录页、内页。

　　四、通过网站日志我们可以知道什么？

　　1、 我们买的空间稳定吗？

　　2、 蜘蛛更喜欢我们的页面，他们不喜欢哪些页面？

　　3、蜘蛛什么时候经常爬我们的网站，我们什么时候需要更新内容？

　　总结：

<p>所以无论是新站还是老站网站，无论你是百度还是谷歌，我们都可以通过网站的日志来分析搜索引擎蜘蛛的爬取情况；如果长时间网站收录有问题，那我们也可以对比一下网站的日志中搜索引擎蜘蛛的行为，了解