搜索引擎优化 pdf(搜索引擎基本原理介绍合集会具体列举爬虫的UserAgent是什么)

　　搜索引擎优化 pdf(搜索引擎基本原理介绍合集会具体列举爬虫的UserAgent是什么)

　　文章分类：搜索引擎基本原理集

　　本文将特别列出主要搜索引擎爬虫的用户代理。那些有官方文件的人将直接链接到官方文件。如果他们找不到官方文件，他们会把从网络服务器日志中获得的UA放进去：百度、谷歌、搜狗、360、神马、头条新闻和必应

　　搜索引擎蜘蛛大全

　　百度爬虫

　　百度官方文件

　　特别是百度目前支持页面的异步JS执行，对应的爬虫UA是（区分PC和手机）：

　　Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

复制代码

　　提示：在网页上放置1px GIF（最小卷），加载GIF后，GA数据报告操作可以放置在回调函数中

　　谷歌爬虫

　　谷歌官方文件

　　谷歌爬虫有很多种。请查看官方文件并按需使用

　　搜狗爬虫

　　Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

复制代码

　　360履带式UA

　　Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

复制代码

　　神马爬行动物

　　Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

复制代码

　　标题爬虫

　　区分PC和移动设备：

　　Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

复制代码

　　冰爬行动物

　　必应官方文件

　　这都是关于搜索引擎蜘蛛UA的。这些内容物长期稳定

　　关于搜索引擎爬虫的一些SEO技术，请等待我更新文章