seo网站日志分析工具(如何分析网站日志分析蜘蛛是否来过,又爬寻了那些页面)
优采云 发布时间: 2021-11-13 11:17seo网站日志分析工具(如何分析网站日志分析蜘蛛是否来过,又爬寻了那些页面)
知不知道百度蜘蛛来了我们的网站,我们该怎么办?那么我们就可以用网站日志来分析蜘蛛是否来了,爬取了那些页面,什么时候来,以及其他相关的问题,以及如何使用蜘蛛日志分析得到的意思呢?
一、什么是网站日志
网站 日志是分析蜘蛛是否通过工具或Excel表格等类似工具来的工具。可以从工具分析的网站日志中查看。一般情况下,我们都是使用ftp工具,网站日志都是空间商会提供的,给大家提供下载地址。它通常在weblog文件中,我们可以直接从中获取站点的日志文件。网站 日志每天生成一次,但对于内容较多的较大网站 站点,您可以将其设置为每小时生成一次。
二、如何分析网站日志
123.125.71.51 – – [22/Dec/2017:19:44:33 +0800] “GET /seoxs/242.html HTTP/ 1.1" 200 7942 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) 版本/5.1 Mobile Safari/10600.6.3(兼容;Baiduspider/2.0;+)
上面的代码是我从自己的空间下载的一段日志。现在就和大家一起分析一下。这段代码的具体含义如下:
111.206.221.110:访问IP
[22/Dec/2017:19:44:38 +0800]:具体参观时间
GET /seoxs/242.html HTTP/1.1:表示蜘蛛抓取这个链接(GET表示服务器动作)
200:表示正常访问
7942:代表7942字节
后面的代码代表移动系统。这没有多大意义。主要原因是要知道蜘蛛会爬取页面多长时间和多长时间。百度蜘蛛是百度蜘蛛的全称。
三、网站日志代码识别
200-服务器成功返回网页
404-请求的页面不存在
503-服务器暂时不可用
500 服务器错误
既然知道了如何分析网站日志,蜘蛛也抓取了对应的连接,抓取后还能收录吗?这只能说是收录的额外机会,还有很多原因,比如文章抄袭太多,可以看我之前的文章(文章是什么原因? @文章不是收录在站内?),相信你文章质量会大大提升,还能推广收录!