网站Log日志分析

　　网站Log日志分析

　　利用光年日志SEO分析工具——拆解目录抓取（产品）——谷歌蜘蛛

　　1、打开工具，点击日志拆分，添加要拆分的文件

　　2、选好文件，添加条件，保存。

　　条件a: 字段选URL，操作选{}，自定义值选——要拆分的URL路径。

　　条件b:字段选agent，操作选{},自定义值选——谷歌蜘蛛

　　3、打开保存的文件，复制到Excel表进行分析.

　　4、在Excel可进行筛选分析站点问题，如是否存在404，把这些问题一一解决。

　　可根据个人需要分析指标，如 观察不同爬虫停留时间，多久间隔来一次，全部爬虫总爬取时间，抓取量都可以计算出来，等等。

　　5、网上截取一段含义解析供参考：

　　14.18.183.126 - - [06/Sep/2020:16:41:42 +0800] "GET /13264.html HTTP/1.1" 200 10177"-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; Trident/5.0)"

　　IP地址,访问时间精确到秒,+0800是访问者所在时区, get是抓取方式,/13264.html是访问页面地址, http是访问协议,200是http状态码代表访问成功。10177是被访问页面大小。Mozilla后面是访问者浏览器信息、操作系统信息等等。