seo网站日志分析工具(什么是日志？飞机的日志分析需要从哪些维度进行)

　　seo网站日志分析工具(什么是日志？飞机的日志分析需要从哪些维度进行)

　　什么是日志？

　　飞机日志：黑匣子

　　计算机日志：计算机管理-事件查看器-应用程序

　　关于网站的日志分析，这是SEO数据分析的重要部分。一个好的SEOer可以通过分析网站的日志来了解网站当前是否健康

　　，是否被攻击。

　　网站日志分析有什么用？

　　1、 重要渠道（大流量落地页、高转化率、用户直接交易页等）有更多爬虫爬取；

　　2、在爬虫一定的爬行时间内，尽量减少一些无用的噪音页面（重复页面、低质量页面、空内容页面、404页面）的精力

　　页面、非排名页面、低转化页面等）；

　　3、 爬取页面时，爬虫尽量增加爬取的有效性，而不是重复爬取同一页面的几个页面；

　　4、 爬虫不会被复杂的URL参数打扰，不会进入无休止的爬虫陷阱；

　　5、 每个页面的下载时间足够快，让爬虫可以在一定时间的基础上爬取更多的页面；

　　6、 爬虫完全可以抓到我们要他爬的页面，不抓我们的私有页面；

　　7、 日志中404不要太多，不要无故跳转，500不要很多（服务器错误），出现这种情况；

　　8、 那些更新频繁但价值不高的页面，不应吸引过多的爬虫能量；

　　9、 我们所有的产品，所有的品类，所有有用的东西，都必须被爬虫抓取，快速遍历；

　　10、可以用来遇到真正的爬虫，而不是一些模拟爬虫的机器人；

　　11、 爬虫可以完整下载到我们的robots.txt；

　　12、 爬虫可以根据我们入口的调整，robots.txt的限制，JS的设计等，按照我们的要求进行爬取；

　　13、 爬虫越多越好。. . 对我们的兴趣越大越好。当然，一切都是基于我们自己的信任和重要性。

　　网站日志分析需要分析哪些维度

　　1、网站 日志中搜索引擎爬虫的类型，根据目前国内的搜索引擎，从日志中可以看到的爬虫一般有：

　　百度蜘蛛（包括PC手机和渲染蜘蛛等，具体蜘蛛名称不解释，站长平台有详细蜘蛛解释）；

　　搜狗蜘蛛、360蜘蛛、神马蜘蛛、头条蜘蛛（具体蜘蛛名称不解释，站长平台有详细蜘蛛解释）；

　　每个蜘蛛的抓取比例应该与搜索引擎目前的市场份额相差不大；需要说明的是，神马是移动端站长平台；

　　2、获取链接

　　分析每个爬虫爬取的链接的结构类型，如目录页或详情页或搜索页面的JS链接；

　　分析各类型爬取占比是否正常；

　　分析爬虫爬取链接的时间规律，比如百度，哪个时间爬取的访问次数最多，可以理解爬取时间线；

　　分析访问链接和抓取链接之间的关联；

　　3、 抓取级别

　　计算总爬行级别，每个爬虫的爬行级别和每个链接类型的爬行级别是否在正常范围内；

　　4、状态码

　　200、301、302、304、404、403、500、502 等（根据状态爬取链接的代码分析网站是否正常等）

　　5、IP是否对应？

　　是否存在虚假爬虫IP段，是否存在采集，扫描、攻击等，拦截异常IP段和爬虫；

　　6、新的抓取卷

　　分析最近站点新生成链接的爬取百分比和爬取次数

　　常用网站日志分析工具

　　1、天眼日志分析系统

　　软件介绍：

　　Skyeye日志分析系统是中国促进会推出的一套SEO日志分析软件，支持windows、linux等操作系统的日志分析。包

　　包括百度、谷歌、360、搜狗等搜索引擎抓取情况分析。此外，软件具有独创的网站安全分析和IP黑名单功能。软件兼容

　　它是强大的，可以直接在本机和服务器系统上运行。是目前国内优秀的SEO日志分析系统。

　　2、爱站日志分析

　　软件介绍：

　　爱站 日志分析工具是爱站打造的一款日志分析软件，可以帮助站长进行日志分析，实时监控蜘蛛访问状态，发现问题。

　　有问题要及时处理。该工具可以自动识别IIS、Apache、Nginx日志格式，并支持直接将日志的一个或多个文件（文件夹）拖放到窗口中。

　　在行分析中，每一项数据都以两种不同的方式呈现给用户，“数据展示”和“图形展示”。

　　爱站SEO Toolkit 网站 如何使用日志分析工具

　　网站日志分析工具视频教程-爱站seo Toolkit