seo网站日志分析工具(网站日志可以记录各搜索引擎蜘蛛机器人爬行运动网站)

　　seo网站日志分析工具(网站日志可以记录各搜索引擎蜘蛛机器人爬行运动网站)

　　在 网站 的 SEO 优化过程中分析 网站 日志是不可避免的。网站日志分析诊断，通过对网站日志的分析，可以更清楚地了解网站的健康状况，利用这些数据有利于进行网站 SEO优化。

　　通过网站日志，可以清楚的知道用户在什么IP下访问了你网站的哪个页面，什么时间，什么操作系统，什么浏览器，用什么分辨率的显示器，是否访问成功. 对于从事seo优化的专业人士，网站日志可以记录每个搜索引擎蜘蛛机器人的爬行动作网站的具体情况，如：百度蜘蛛机器人浏览了哪个IP网站浏览了多少次、查看了哪些页面以及访问该页面时返回的 .com 状态代码。

　　常见的蜘蛛名称：

　　百度蜘蛛：百度蜘蛛

　　百度蜘蛛-图片：百度图片蜘蛛

　　谷歌机器人：谷歌机器人

　　Googlebot-Image：谷歌图片机器人

　　360蜘蛛：360蜘蛛

　　sogospider：搜狗蜘蛛

　　一、网站日志的作用

　　1、通过网站日志可以了解到蜘蛛在网站上的基本爬行情况，可以知道蜘蛛的爬行轨迹和爬行量。

　　2、网站的更新频率也和网站的日志中蜘蛛爬行的频率有关。通常更新频率越高，蜘蛛蜘蛛的爬取频率就越高，而我们的网站Updates from @>不仅是新增内容，也是我们的调整。

　　3、我们可以根据网站日志（快手刷平台）的响应，对我们空间的某些事情和问题进行预警，因为如果服务器出现问题， 网站时间会在日志中体现，（店铺社区网：公众号开通流量大师网站），要知道无论是服务器的稳定速度还是开通速度都会直接影响我们的网站。

　　4、通过网站的日志，我们可以知道网站的哪些页面很受蜘蛛的欢迎，哪些页面甚至没有被蜘蛛接触过，我们也可以找到一些页面因为蜘蛛过度爬取，对我们服务器资源的消耗非常大，需要屏蔽。

　　二、如何下载网站日志

　　1、首先我们空间支持网站日志的下载非常重要，（网站文章更新：），需要提前知道是否购买下载空间时支持日志。因为也有提供者不提供服务，如果支持的话（快手刷样平台），在空间后台有下载日志WebLog日志的功能，可以下载到根目录传输本地通过FTP。服务器指定日志文件

　　2、这里有个很重要的问题，网站强烈建议将日志设置为每小时生成一次。小型企业站点和页面内容较少的网站可以设置为，默认为，如果内容很多或者大型站点设置为一次生成，只会生成一个文件，这个文件会很大。有时当我们打开电脑时，它会导致死机。如果你设置好了，你可以找到空间商来协调设置。

　　三、网站日志数据分析

　　1、网站日志中的数据量太大，所以我们一般需要使用网站日志分析工具来查看。常用日志分析工具有：Lightyear日志分析工具、weblogexploer、WPS表单等。

　　117.26.203.167–[02/May/2011:01:57:44-0700]"GET/index.phpHTTP/1.1"50019967 "-""Mozilla/4.0(兼容;MSIE8.0;WindowsNT5.1;Trident/4.0;AskTbCS-ST/5.1 1.3.15590;.NETCLR2.0.50727;AlexaToolbar)"

　　分析：

　　117.26.203.167访问ip；

　　02/May/2011:01:57:44-0700AccessDate-Timezone;

　　GET/index.phpHTTP/1.1 根据HTTP/1.1协议获取页面（域名下）/index.php（GET表示服务器动作）；

　　500服务器响应状态码；

　　服务器响应状态码通常有以下几种状态码：200、301、302、304、404、500等。200表示用户成功获取了请求的文件，（快手刷样平台），如果是搜索引擎，证明蜘蛛在这次爬取中成功发现了一些新的内容。而301表示用户访问的一个页面url经过了301重定向（性）处理，302是临时重定向。404 表示访问的页面不存在，或者访问的 url 根本就是错误的。500 是服务器错误。

　　19967 表示抓取了 19967 个字节；

　　Mozilla/4.0(兼容;MSIE8.0;WindowsNT5.1;Trident/4.0;AskTbCS-ST/5.11.@ >3.15590;.NETCLR2.0.50727;AlexaToolbar表示访问者使用火狐浏览器和AlexaToolbar等访问终端信息；

　　2、如果你的日志格式不一样，说明日志格式设置不一样。

　　3、在很多日志中可以看到20000和200064代表正常爬取。

　　4、爬取频率是通过在日常系统日志中查看百度爬虫的爬取频率得到的。抓取频率没有标准的时间表或频率编号。我们通常通过比较多天的日志来判断。当然，我们希望百度蜘蛛每天都在爬行。