seo网站日志分析工具(网站日志分析的一些事项有哪些？如何下载蜘蛛)

　　seo网站日志分析工具(网站日志分析的一些事项有哪些？如何下载蜘蛛)

　　每个做SEO的站长都应该基本分析一下网站日志的能力。因为通过网站日志，可以分析搜索引擎蜘蛛的动态，用户访问的动态，发现网站上哪些链接异常。

　　网站日志的分析和诊断就像在网站上看病一样。通过对网站日志的分析，我们可以更清楚地了解网站的健康状况。这些数据可以帮助我们更好地优化网站SEO。这里有一些关于日志分析的事情：

　　常见的蜘蛛名称：

　　百度蜘蛛；百度蜘蛛-图片；谷歌机器人；谷歌机器人图像；360蜘蛛；搜狗蜘蛛。

　　一、网站日志的重要作用？

　　1、 通过网站日志，您可以了解蜘蛛在网站上的基本爬行情况，您可以通过我们的网站日志、外部链接数量和访问量，了解蜘蛛的爬行轨迹和爬行量。网站蜘蛛的抓取量有直接影响。我们所说的链接诱饵是，如果你制作外链，当蜘蛛抓取外链页面并释放页面时，蜘蛛可以通过你留下的链接来抓取你的网站。, 并且网站日志会记录蜘蛛的这次爬行动作。

　　2、 网站的更新频率也与网站日志中蜘蛛爬行的频率有关。一般来说，更新频率越高，蜘蛛的爬行频率就越高，我们网站的更新不仅仅是同时增加新内容。还有我们的微调操作。

　　3、 我们可以根据网站日志的反应，对我们空间中的某些事情和问题进行预警，因为如果服务器有问题，会第一时间反映在网站日志中。您必须知道服务器 网站的恒定速度和打开速度都会直接影响我们的网站。

　　4、 通过网站日志，我们可以知道网站的哪些页面非常受蜘蛛欢迎，哪些页面没有被蜘蛛触及。同时我们也可以发现一些蜘蛛因为过度爬行而对我们不利。服务器的资源消耗非常大，我们要进行屏蔽工作。

　　二、如何下载日志以及日志设置的注意事项？

　　1、首先，我们的空间必须支持网站日志下载。这是非常重要的。在我们购买空间之前，首先要问清楚它是否支持网站日志下载，因为有些服务商不提供这项服务。, 如果支持，空间后台一般都有日志WebLog日志下载功能，下载到根目录下再通过FTP上传到本地，服务器可以设置下载日志文件到指定路径.

　　2、 这是一个非常重要的问题。强烈建议将站点日志设置为每小时生成一次。小型企业网站和页面内容较少的网站可以设置为一天。默认为一天。如果内容大或者大站设置为一天生成一次，那么一天只生成一个文件。这个文件会很大。有时，当计算机打开时，会导致死机。如果你设置好了，你可以找到一个空间提供商来协调设置。

　　三、网站日志分析。

　　1、 如果日志的后缀是log，我们用记事本打开。在格式中选择自动换行看起来很方便。同时使用搜索功能搜索百度蜘蛛和Googlebot这两个蜘蛛。

　　例如：

　　百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.5 1.144 百度蜘蛛-favo+ (+ baidu /search/spider) 200 0 0 15256 197 265

　　谷歌机器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+（+ google /bot) 200 0 0 985 200 31

　　让我们分节解释

　　2012-03-13 00:47:10 蜘蛛爬行的日期和时间点；W3SVC177 这是机器码，这是唯一的，我们不用管它；116.255.169.37 这个IP地址是服务器的IP地址；GET代表事件，GET后面跟着蜘蛛爬取的网页。斜线代表首页，80是端口，220.181.51.144 这个IP就是蜘蛛的IP，这里给大家一个快捷的方法为了区分真正的百度蜘蛛，我们的电脑点击启动，输入cmd打开命令提示符，输入nslookup并添加一个空格点击回车为蜘蛛IP。一般来说，真正的百度蜘蛛有自己的服务器IP，而假蜘蛛没有。

　　如果网站上出现大量假蜘蛛，则说明有人冒充百度蜘蛛采集

您的内容。你需要注意。如果太霸道，会占用你的服务器资源。我们需要封锁他们的IP。

　　200 0 0 这里是状态码。状态码的含义可以百度搜索；197 265的最后两个数字代表要访问和下载的数据字节数。

　　2、 我们分析的时候，先看下状态码200下载成功，304未修改页面，500服务器超时。这些是一般的其他代码，你可以百度。我们必须处理分歧。

　　3、 我们想看看蜘蛛经常爬哪些页面，我们想记录下来，分析为什么经常被蜘蛛爬，分析蜘蛛喜欢的内容。

　　4、有时候我们的路径不统一，有没有斜线都有问题。蜘蛛会自动将其识别为 301 跳转到带有斜杠的页面。这里我们发现搜索引擎可以判断我们的目录，所以我们要统一我们的目录。