seo网站日志分析工具(如何查看蜘蛛是否过来抓取我们的网站呢？(图))

　　seo网站日志分析工具(如何查看蜘蛛是否过来抓取我们的网站呢？(图))

　　对于一个网站SEO优化者来说，了解数据分析是非常有必要的。就像小编东莞SEO上次讲的如何快速提升网站的排名，想要提升自己的排名网站，首先得有蜘蛛来抢。你的 网站 怎么能在没有蜘蛛来抓它的情况下排名呢？那么我们如何检查蜘蛛是否来抢我们的 网站？这就是今天和大家分享的话题：如何查看服务器日志？如何查看 网站 日志？

　　如何查看服务器日志？如何查看 网站 日志？

　　一、首先，我们要从服务器下载日志。由于编辑器使用的是万网的虚拟主机，所以日志是在后台ftp下载的。一般的虚拟主机是wwwlogs，有的不一样。 ，您可以询问您的服务提供商。

　　二、分析网站日志分析的工具也很多，比如：光年日志分析、拉格豪、php软件等，不过我感觉不是很好。今天，小编是为大家准备的。先介绍一下前面提到的一个软件：cygwin。

　　2、将下载的日志重命名为Adminstrator文件

　　3、分离出你要分析的数据

　　三、如何分离数据，这里有一些命令，直接复制就好了。打开cgywin软件

　　输入：cat 1.log|grep 'baiduspider'>>baidu.txt

　　输入：cat baidu.txt|awk '{print $9}'|sort|uniq -c

　　（注：1.log是编辑器自己命名的网站日志服务器文件）；输入此命令将百度蜘蛛与您的网站日志服务器分开，非常方便。可以查看蜘蛛爬取的状态网站；数字“9”是与您的 网站 日志对应的链接。你可以写几行。

　　2、判断404爬取状态：

　　输入：cat baidu.txt|grep '404'>>baidu404.txt

　　输入：cat baidu404.txt|awk '{print $7}'>>404.txt

　　备注：一个链接被重复爬取的次数（爬取次数较多的链接添加nofollow）；注意nofollow不是随意添加的。 cat baidu.txt|awk '{print $7（你的网站log对应的链接在你写的那一行）}'|sort|uniq -c

　　如果要分析其他内容，可以使用相同的方法。另外，也可以通过这个来分析查看网站not收录的整体原因，看看蜘蛛爬取的频率。是不是很简单实用！