seo网站日志分析工具(如何下载网站日志中蜘蛛的爬行轨迹和爬行量？)

　　seo网站日志分析工具(如何下载网站日志中蜘蛛的爬行轨迹和爬行量？)

　　1.通过网站的日志，可以了解蜘蛛在网站上的基本爬取情况，了解蜘蛛

　　爬行轨迹和爬行量。2.网站 的更新频率也与 网站 日志中捕获蜘蛛的频率有关。一般来说，更新频率越高，蜘蛛捕获频率越高。我们的 网站 更新不仅仅是添加新内容，它们是我们的微调操作

　　3.根据网站日志的响应，可以对我们空间中的一些事情和问题进行预警，因为如果服务器出现问题，会反映在< @网站 第一次登录。要知道服务器的稳定速度和开启速度会直接影响到我们的网站

　　4.通过网站日志，我们可以知道网站的哪些页面很受蜘蛛的欢迎，哪些页面甚至没有被蜘蛛触及。同时我们也可以发现一些蜘蛛爬行过度，这对我们的服务器资源来说是一个很大的损失。我们需要阻止他们

　　2、如何下载网站日志

　　1.首先，我们的空间支持网站日志下载非常重要。在购买空间时，我们需要提前知道它是否支持日志下载，有些服务商不支持。如果支持的话，空间后台一般都有日志下载功能。下载到根目录，然后FTP到本地，服务器，可以设置日志文件下载到指定路径

　　3、网站日志数据分析

　　1.网站日志数据量太大，一般需要使用网站日志分析工具查看。117.26.203.167---[2011 年 5 月 2 日:01:57:44-0700] "GET/index.php HTTP/1.@ >1 "500 19967"-"Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS ST/5.@ >11.3.15590.Net CLR2.0.50727；Alexa 工具栏）

　　分析：

　　117.26.203.167 访问IP

　　02/ma/2011:01:57:44-0700 访问日期时区

　　get/index.php http/1.1 根据http/1.1协议，抓取页面（域名下）/index.php（get表示服务器操作）

　　500 服务器响应状态码

　　服务器响应状态码通常如下： 2404500 等 200 表示用户成功获取了请求的文件。如果是搜索引擎，就证明蜘蛛在这次爬取中成功找到了一些新的内容。301表示用户访问的页面的URL有301重定向（永久），302是临时重定向。404 表示您访问的页面不存在，或者您访问的网址有误。500 是服务器错误

　　19967 表示捕获了 19967 个字节

　　Mozilla/4.0（兼容；MSIE 8.0；Windows NT 5.1；Trident/4.0；AskTbCS ST/5.11.@ >3.15590.Net CLR2.0.50727; Alexa Toolbar是指访问者用于访问Firefox浏览器和Alexa Toolbar等终端的信息

　　2.如果日志格式不同，说明你的日志格式不同

　　3.很多日志可以看到200000和200064代表正常爬取

　　4.爬取频率是通过查看每日日志百度蜘蛛爬取次数得到的。爬行的频率没有标准的时间表或频率。我们通常通过比较多天的日志来判断。当然，我们希望百度蜘蛛每天爬的越多越好。

　　5.有时候我们的路径不统一，斜杠没有问题，蜘蛛会自动识别301并跳转到有斜杠的页面，这里我们发现搜索引擎可以判断我们的目录，所以我们需要统一我们的目录

　　6.我们分析日志很久了，可以看到蜘蛛的爬取规则。可以看到同一目录下单个文件的爬取频率区间和不同目录下的爬取频率区间。这些爬取频率间隔由蜘蛛根据 网站 权重和 网站 更新频率确定

　　自动确定。7.蜘蛛以分层顺序爬取我们的页面。按照权重的降序排列，一般的顺序是首页、目录页、内页。

　　4、来自 网站 的日志

　　1.我们购买的空间是稳定的

　　2.蜘蛛喜欢哪些页面

　　3.蜘蛛什么时候经常爬我们的网站，我们什么时候需要更新内容