用shell实时分析网站seo日志,随意且方便
优采云 发布时间: 2022-05-20 18:28用shell实时分析网站seo日志,随意且方便
分析网站日志,也是seo一项工作数据监控,网站日志分析主要是分析百度爬虫访问网站服务器的信息,包括访问ip、访问蜘蛛信息、访问页面和访问量等信息,通过这些信息,可以分析我们网站的情况,并做出后面的seo优化方向。
分析网站日志,网上有很多日志工具,光年日志工具、seo盒子等等都有分析日志的功能。如果会shell命令的话,分析日志就变得简单且随意了。下面简单就分析一下网站日志百度访问量和百度抓取页面
首先我们在linux服务器里,找到日志文件的路径:/www/wwwlogs/xxx.log 这里就是服务器的日志文件,在这里可以找到那些外网访问我们服务器,以及访问了哪些页面。
一、网站日志百度访问量
基础命令:
awk '/Baiduspider/{x++} END{print "百度访问量:",x}' mufen.log
通过这条命令可以筛选百度访问日志,通过计算,查看百度访问总量
二、网站访问页面
awk '/Baiduspider/{print "百度访问页面:",$7}' mufen.log | sort | uniq -c
这条命令可以查看网站百度访问的页面信息,其中sort:排序uniq:去重
这里就简单分析这两条,然后我们可以将这两条命令写入shell文件,shell命令运行的文件以.sh为结尾,那么可以这么写
这里简单修改了,加上实时日期,这样就可以获取实时当天的日志数据了。这样运行bash log.sh后就会打印当天的数据了
在运行log.sh的时候每次都要切换到对应目录下,还是挺麻烦的,那么我们可以将运行文件路径放入PATH环境变量里就行了。PATH=$PATH:/www/wwwlogs就可以了。