史上最全面最详尽的百度、搜狗、好搜三大搜索引擎站长平台SEO应用剖析（请看官老爷们谅解标题过长难以写全）
　　虽然谈及搜索，首先想到是度娘，但毕竟国外是存有三大主流的搜索引擎：百度（Baidu）、搜狗（sogou）、好搜（so）的，虽然所占份额两极分化非常大：
　　
　　百度仍然攥有广大的资源优势，360也在凭着自己的杀毒和浏览器在一步步占领市场，搜狗从去年的“欢乐颂”等影视广告加上陌陌搜索的优势看也不会落后。所以对我们我们做SEO想要全面不流失顾客，一定不要轻易忽视了好搜和搜狗这两个小搜索引擎，其实也不见得象你想像的这么“小”，毕竟俺中国的人口基数而且足够“大”的！！！
　　好了，俗话说“工欲善其事，必先利其器”，所以我们计划或初入门SEO的同学，一定要十分清楚的了解站长平台工具，本文主要介绍这三大主流搜索引擎站长平台的验证及功能介绍和使用方式。
　　一、【百度站长平台】
　　地址：
　　百度SEO是目前做的最多的，所以百度站长平台目前使用的人数也是最多的，所以百度站长平台也是在一步一步建立，功能也十分多。
　　百度站长平台验证
　　打开百度站长平台，登录百度账号，点击底部导航【工具】进入百度站长平台工具页面。
　　点击两侧导航【我的网站】-【站点管理】然后添加你的网站，如下图所示：
　　
　　文件验证：在输入框输入须要验证的域名，这里有三种模式可以验证，建议使用文件验证，文件验证的方法时间最快，操作相对简单，下载文件好搜seo软件，上传到网站的根目录即可点击【完成验证】。
　　HTML验证：把代码复制到网页代码的腹部文件上面，标签与标签之间，不懂代码的同学最好不要使用这些方法。
　　CNAME验证：将指定解析到百度站长平台指定的别称中，等待解析生效即可点击【完成验证】，通常解析生效时间是20分钟，具体看运气。
　　百度站长平台功能介绍
　　百度站长工具有6个大导航，分别有抓取、移动、排名、维护等功能，相对传统做优化来说，有了百度站长平台这个权威的工具便捷多了。
　　站点信息：展现一个站点的轮廓，包含索引量、关键词搜索量、抓取、移动、外链、优化建议等。
　　站点管理：主要应用于添加网站而用，一个百度账号是不限制添加网站的数目，如果你有多个网站，这里也可以添加多个网站，不需要注册多个账号。
　　消息提醒：消息提醒对于SEO站长来说，最重要的是提醒网站是否作弊，当网站出现作弊现象，这里会提醒下来，比如网站被黑提醒，另外一个是站长申请使用百度站长平台公测工具的时侯，会给出消息提醒。对我而言，这个功能就这两个重点好处，其他的消息看了也是多余的！
　　移动适配：目前部份网站html5技术还不够成熟，所以大多不是使用手动响应，都有自己联通网站模版，那么百度是难以辨识下来PC与联通对于的URL，这里只有借助自动递交对于的联通适配URL了，这里的操作十分简单，移动站和PC站的URL是统一的，无非就是多了一个文件名或域名不一样，在这个工具上递交三个对于的URL即可手动辨识下来。
　　应用内搜索：目前工具还在公测，我的个人博客也用不着这个工具，不过还是介绍一下，当你的网站与APP内容上才能对应时侯，提交应用内搜索，当用户搜索某个关键词出现你网站的时侯好搜seo软件，你网站下方会推荐出你的APP。
　　Site App：免费制做APP、移动网站的功能，如果你没有更好的办法作出联通网站来，还是推荐使用百度Site App工具，不过联通APP话，个人还是推荐使用追信魔盒，我也是用这一款软件，赶脚还是挺不错的，权限方面放的比较开！
　　链接递交：链接递交分为手动递交和自动递交，当然手动递交的形式好些，不需要人工来麻烦，但是须要程序有插件支持，自动递交有网站地图sitemap和主动推送的方式，主动推送须要插件支持，网站地图可以使用软件生成后上传到网站根目录之后递交即可。
　　手动递交的形式比较简单了，把你网站所有链接整理正一个txt文档，然后上传到网站根目录，提交到搜索引擎自动递交入口即可，当然格式还可以是xml、html、htm、php等。
　　死链递交：如果你网站改版出现多个死链接，最快速的方式就是把死链接检查下来，整体成一个txt文档，然后递交到死链接到百度站长平台既可。
　　ROBOTS：为遵循互联网规则，搜索引擎用robots来限制，如果你有某个页面不容许搜索引擎抓取（如：网站后台），那么即可在robots上面写上规则，如果你不会写robots文件，那么借助这个工具，新建一个robots之后填写不容许抓取的页面，然后更新是否有错误，没错误即可上传了。
　　抓取频度：当你网站收录慢的时侯，可以适当的看一下网站的抓取频度，通常一个企业网站抓取频度不会超过500，当然具体依据网站的更新速率来决定的，这里也可以调整抓取频度的次数，并不是调整的越大越好，调整的越大，服务器压力也就越大，网站也就越卡。
　　抓取确诊：类似于一个百度蜘蛛模拟抓取的工具，当网站出现问题或则某地域出现打开的现象，而你自己可以打开，这里可以使用抓取确诊工具来测试网站是否抓取正常。
　　抓取异常：抓取异常工具主要包括：404、503、502等错误时侯的提醒。比如说网站改版出现多个死链接，但人工统计不出，那么在这里查找下载下来，整体成TXT递交到搜索引擎。
　　索引量：百度索引量是站长最值得关注的一个数据，网站收录的前提是构建索引，所以索引量在上升这也说明，你网站会渐渐被收录！当然稳定上升是最好的现象！
　　站点属性：为保护小网站的品牌，百度工具推出站点属性功能，像客服电话、站点LOGO、站点中文名等均可以在这里设置，目前最容易通过的是站点LOGO。后续会越来越开放！
　　站点子链：目前工具在公测，意思就是搜索你的品牌词，下方出现你二级域名的网站，如果你网站有多个二级域名，可以申请使用。
　　数据标明：对博客来说数据标明没哪些用，主要针对软件、电影、小游戏的网站，标注后，用在搜索结果页面可以直接点开见到小说、电影、小游戏，无需步入你的网站列表，然后选择某个游戏或则影片。在点击开始播放这么复杂的流程！
　　结构化数据：与数据标明的一样，但是整合了其他的，比如问答、资料下载、文库、软件下载，用户在搜索结果页面可以直接看见下载的按键，点击下载即可，就不需要步入你网站，然后找到下载按键在下载了！另外下边一个是结构化数据下载的插件，目前只有Discuz和WordPress！
　　流量与关键词：实时监控关键词的排行情况和关键词的点击情况，展现量与点击率的数据可以告诉我们网站是否够吸引用户点击，另外决定百度排行的重点诱因是用户的点击率。
　　页面优化建议：这里主要针对的是网站打开速率优化的建议，比如CSS压缩、图片压缩的建议，这里的CSS压缩不必并不是太人性化，因为好多未能不必，不过图片压缩工具不错，直接下载压缩后的图片替换老图片即可。
　　链接剖析：链接剖析主要是剖析外链的数据，不过近来百度拒绝外链工具下线了，这也说明，百度有能力辨识垃圾外链，所以这一数据，我们不需要操劳了！
　　安全检查：安全检查和漏洞检查主要是针对网站漏洞检查的，不过要防御网站的话，这一点点还是不够的，所以这个工具好处不大，大多是给创宇信息技术有限公司和百度云加速做广告而用的。
　　网站改版：网站改版对站长来说十分重要，在更换模版后，提交到搜索引擎站长平台，他们会一个URL一个URL的处理，降低网站改版的风险。
　　闭站保护：如若网站备案或网站暂时关掉，可以申请闭站保护后关掉网站，备案完毕后在打开网站，对网站的SEO是完全没有影响的！
　　百度站长平台就介绍的差不多了，至于下边的网站组件基本是给百度做广告的，使用的意义不大，下面在来说说搜狗站长平台。
　　二、【搜狗站长平台】
　　地址：
　　搜狗站长平台功能相对比百度少一点，但是功能都十分实用，没有象百度那么多没用的功能，另外搜狗使用权限的门槛相对比百度门槛低，至少不需要发邮件申请公测资格！
　　1.搜狗站长平台验证
　　打开搜狗站长平台，点击底部导航【站长工具】，在左上角有一个【站点管理】的按键，点击后添加网站即可。如下图所示：
　　
　　验证的方法有两种，一种文件验证和代码验证，建议使用文件验证，方法与百度验证的方式一样，这里不多说了！
　　2.搜狗站长平台功能介绍
　　Sitemap递交：与百度的网站地图递交功能一模一样，但是没有手动推进的功能，不过搜索收录相对百度简单。
　　死链接递交：形式与百度递交的方式一模一样，建立一个txt文档，把死链接保存上去，上传到服务器根目录，提交起来即可。
　　域名变更：比如启用新域名而且做好了301，但是搜索引擎辨识很慢，所以这儿可以添加规则，更快的使搜索引擎辨识下来你的新域名。
　　中英文站点匹配：当输入你的品牌词后，在显示域名的地域显示你的英文品牌词，这是中英文站点匹配的疗效，没哪些卵用！
　　匹配网站ICO：在百度是没有这个功能的，当网站达到一定知名度后，会手动显示ICO的图标，搜狗这儿可以自动递交ICO的图标，搜索结果页面直接显示你网站的ICO图标。
　　匹配网站LOGO：与百度站长LOGO功能一模一样，但是搜狗的LOGO初审是很难通过的。
　　参数设置：说白了就是一个山寨版的ROBOTS，不过这个比ROBOTS文件麻烦，另外假如你网站自己写了robots文件，他们还是一样违背规则的！
　　官网认证：提交基本是显示初审中，看到太多人递交了，最终就没有疗效了，可能是知名度不够，建议递交之前多发几条新闻源！
　　开放适配：为了使搜索引擎更容易辨识出你网站PC与移动端的关系，这里可以递交开放适配的数据。
　　索引量查询：搜狗的索引量基本比较乱，我多个站点索引量才100多，而网站收录却3000多。这个功能基本被搜狗做废了。
　　关键词查询：最高可以查询50个关键词，查询的网站必须验证搜狗站长平台，查询下来的都是搜狗搜索数比较多的词。
　　三、【好搜站长平台】
　　地址：
　　没哪些卵用，大多的功能都与百度搜狗差不多，验证方法一模一样，个人把好搜站长平台的几个亮点给你们介绍下来。
　　智能摘要：智能摘要与结构化数据差不多，不过这儿比百度结构化数据更人性化了，包括新闻网站也可以设置了。比如问答摘要上面直接显示答案，论坛直接显示核心点之类的，对用户来说，是一个挺好的体验。
　　Ping收录：ping收录主要针对博客网站，在网站安装了插件后，可以手动递交新的内容到搜索引擎上，因为博客均是原创内容，这个功能是十分有必要的。
　　原创收录：与百度星火计划差不多，不过百度的星火计划只是嘴上谈谈，这里好搜做的更实际了，每个网站每天仅限递交或更新三次。 查看全部

　　我们晓得，搜狗和腾讯进行了战略合作，并将获得腾讯的众多资源。近日搜狗推出了陌陌搜索，其中微信公众号搜索在目前为止，发现仅搜狗可以搜索到，其他搜索引擎，百度、360、神马等都没这个渠道。
　　那么，搜狗是采用了腾讯提供的直接数据源，还是依旧是通过搜狗“微信蜘蛛”千里跋涉去抓取、缓存、分析、排序、展示的呢？
　　前者情况下，我们可以看见，公众号和简介更新将是实时的；
　　后者情况下，则须要滞后一段时间，类似俺们SEOer常说的“快照更新”时间。
　　本实验即拿来做一个测试，研究搜狗微信搜索数据源是否采用腾讯的“直接通道”。
　　6月10日，在搜狗微信搜索上，搜索 “SEOWHY” （bug存在，需要多点击几次搜索按键方会出现）
　　出现右图：
　　
　　内容与目前的微信公众号简介一致：
　　
　　当日，我在微信公众号后台，提交更改公众号简介。内容如下：
　　
　　这个递交更改初审，需要3天时间搜狗微信搜索 反爬虫，大约在6月13日会生效，届时，我们共同来观察下，搜狗微信搜索这边的更新情况。
　　欢迎，大家共同关注这个实验，也欢迎童鞋们递交自己的案例。
　　========我是饱含激情的分割线===========
　　6月11日搜狗微信搜索 反爬虫，答案早已提早到来。
　　微信公众号这边的简介早已更新，但搜狗微信搜索那儿仍未更新。抓图如下：
　　
　　
　　所以，搜狗微信搜索采用的数据源不是来自腾讯直接通道，依然采用爬取所得，但这个爬取的入口，腾讯可以只给搜狗开放。 查看全部

　　今天这篇文章主要介绍的是关于微信公众号文章的爬取，其中上面主要涉及的反爬机制就是 js加密与cookies的设置 ；
　　微信公众号的上一个版本中的反爬机制中并没有涉及到js加密，仅通过监控用户ip，单个ip访问很频繁会面临被封的风险；在新的版本中加入了js加密反爬机制，接下来我们来逐渐剖析一下文章爬取过程
　　打开搜狗页面搜狗陌陌页面，在输入框中输入任意关键词比如列车隧洞大火，搜下来的都是涉及关键词的公号文章列表
　　
　　私信小编01 获取全套学习教程！
　　这里根据平时套路，直接借助开发者工具的选择工具，查看源码中列表中整篇文章的url，就是下边这个 href属性 标签
　　
　　看到这个url,按照正常思路的话，就是直接做url拼接：搜狗主域名 + href 就是陌陌主要内容的url,形式如下
　　https
:
//weixin.sogou.com/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6cwJThYulHEtVjXrGTiVgS_yBZajb90fWf-LwgFP7QmnFtbELADqFzFqXa8Fplpd9nrYbnf-BG6fJQmhdTDKRUQC_zVYwjAHQRnKwtfQUOD-aNBz2bhtCuShQywQb837B12cBkYFsYkKXir7Y9WqlRBcZIrhUAYmFlBSVIg7YGFbBdu4rXklGlRslEFpw0lTmIX8pHfpQ9x6clCHaA92qoA9YOaIV2yOyrE-focNFXq7wdVqCwyPdzA..&type=2&query=%E7%81%AB%E8%BD%A6%E9%9A%A7%E9%81%93%E8%B5%B7%E7%81%AB
　　但是直接点这个链接返回的是402页面，需要输入验证码进行验证，而且验证码通过后仍然进不去；很明显这个url并不是文章的访问入口
　　
　　经过测试，这篇文章的真实url是下边这些方式（直接通过点击页面标签打开即可）：
　　https
:
//mp.weixin.qq.com/s?src=11&timestamp=1567073292&ver=1820&signature=z2h7E*HznopGFidmtUA4PmXgi3ioRqV7XiYIqn9asMT3RCMKss6Y2nPUh7RG63nrwmRii77cL9LyDNJIVp1qpo5LHvQ8s754Q9HtCgbp5EPUP9HjosY7HWDwze6A2Qi7&new=1
　　是不是太太意外；这里开始就须要转变思路：不管怎样最好先抓一下包，这里我借助的工具是Fidder，关于Fidder怎样使用，可以参照这篇文章：
　　先从搜索页面的文章列表中步入文章的详情页，我们须要通过Fidder来监控一下文章的跳转情况：
　　看到没，惊奇地发觉有个 /link?url 开头的url跳转成功了，深入一下，我们再看一下这个链接返回的是哪些，点一下response部份的TextView；
　　
　　返回的text文本是一串字符串组成的，即使不懂javascript，但上面大约意思就是构造一个url,格式与后面那种真实的url有一些相像呢，经测试以后发觉，返回的这个url就是获取文章内容的真实url
　　把这个访问成功的而且以link?url开头的url完整复制出来，与源码中的那种 link?url 放在一起，发现这个访问成功的url中多了两个参数一个是k一个是h
　　# 访问成功的：https://weixin.sogou.com/link% ... h%3Df
# 访问失败的：https://weixin.sogou.com/link% ... %25AB
　　现在基本爬取核心思路早已晓得了，主要就是破解这两个参数k和h，拼接成'真'的url（ 以/cl.gif开头的 ）,然后获取真url; 关于这两个参数的破解就是涉及到了js加密，需要进行调试，不懂的可以参考这篇文章：Chrome DevTools 中调试 JavaScript 入门;
　　第一步，回到源码中 link?url 位置的地方，因为前面两个参数的降低是因为我们触发了这个假的url，所以这儿须要对假的url进行窃听：
　　开发者工具[Elements] -> 右上角处的[Event Listeners] -> [click] -> 你须要监控的元素标签；
　　
　　第二步,按流程浏览完前面所有过程时下边会有个js文件，点进去，并对js代码进行低格，发现参数k与h的构造方式：
　　
　　其实还有一种参数定位的方式，在Google开发者选项中借助全局搜索[Search]就能快速定位,但是并不适用于这儿，因为这儿我们定位的参数都是单个元素，定位的准确度非常低
　　定位以后，参数k与h的定义十分清楚，没有过多函数嵌套，就是在一个简单的函数中，一个是生成一个随机数字，另一个在这个href标签的链接中获取其中的某一个字符，这里我们可以直python把这个功能实现：
　　 url_list11
=
pq
(
res
.
text
)(
'.news-list li'
).
items
()
for
i
in
url_list11
:
url_list12
=
pq
(
i
(
'.img-box a'
).
attr
(
'href'
))
url_list12
=
str
(
url_list12
).
replace
(
'
'
,
''
).
replace
(
'
'
,
''
).
replace
(
'amp;'
,
''
)
print
(
url_list12
)
b
=
int
(
random
.
random
()
*
100
)
+
1
a
=
url_list12
.
find
(
"url="
)
result_link
=
url_list12
+
"&k="
+
str
(
b
)
+
"&h="
+
url_list12
[
a
+
4
+
21
+
b
:
a
+
4
+
21
+
b
+
1
]
a_url
=
"https://weixin.sogou.com"
+
result_link
　　好了，‘真’url也就能构造成功了，通过访问‘真’url来获取 真url（访问时记得加上headers），然后再获取我们须要的信息；然而结果却是下边这样的：
　　
　　经测试发觉，原因是因为Cookie中最为核心的两个参数SUV和SUNID搜狗微信 反爬虫，而这两个参数在不断地发生改变
　　其中SUNID有固定得访问次数/时间限制，超过了限制直接变为无效，并且当访问网页恳求失败后，SUNID与SUV须要更换能够再度正常访问
　　SUV参数是在 ‘真’url 过度到 真url 中某个网页中Response里的Set-Cookie中生成的，也就是下边这个网页：
　　
　　需要我们恳求这个链接，通过这个链接返回的Cookie,我们领到这个Cookie装入恳求头上面，再访问拼接好的 * ‘真’ url*
　　最后能够获取到真url最后恳求这个链接，解析出我们想要的数据( 注意用恳求头的时侯最好不要加Cookies搜狗微信 反爬虫，否则会导致访问失败 ) 当解决以上所有问题了，这里再测试一下，已经才能成功地领到我们想要的数据： 查看全部

　　
　　以下是几种微信公众号采集文章的几种方案，供你们参考!
　　
　　微信公众号采集
　　方案一：基于搜狗入口
　　在网上能搜索到的公众号文章采集相关的信息来看来看，这是最多、最直接、也是最简单的一种方案。
　　一般流程是：
　　1、搜狗微信搜索入口进行公众号搜索
　　2、选取公众号步入公众号历史文章列表3、对文章内容进行解析入库
　　采集过于频繁的话，搜狗搜索和公众号历史文章列表访问就会出现验证码。直接采用通常的脚本采集是难以领到验证码的。这里可以使用无头浏览器来进行访问,通过对接打码平台识别验证码。无头浏览器可采用selenium。
　　即便采用无头浏览器同样存在问题：
　　1、效率低下（实际上就是在跑一个完整的浏览器来模拟人类操作）
　　2、网页资源浏览器加载难以控制，脚本对浏览器加载很难控制3、验证码识别也未能做到100%，中途太可能会打断抓取流程
　　如果坚持使用搜狗入口并想进行完美采集的话只有降低代理IP。顺便说一句，公开免费的IP地址就别想了微信文章采集，非常不稳定，而且基本都被陌陌给封了。
　　除了面临搜狗/微信的反爬虫机制之外，采用此方案还有其他的缺点：
　　无法获得阅读数、点赞数等用于评估文章质量的关键信息
　　无法及时获得早已发布公众号文章，只能作定期的重复爬取只能获得近来十条群发文章
　　方案二：对手机陌陌进行中间人攻击
　　中间人攻击本是某种黑客手法，用于截取客户端与服务端之间的通讯信息。这种方案的思路是在手机陌陌和陌陌服务器之间搭建一个"HTTPS代理"，用于查获手机陌陌获取的公众号文章信息。一般性步骤是：
　　1、手机陌陌搜索一个公众号
　　2、点击步入公众号历史文章页面3、代理辨识早已步入列表页，进行内容查获，同时按照实际情况返回继续下拉或爬取新的公众号的js代码
　　这种方案才能实现自动化的缘由是：
　　1、微信公众号使用的是HTTPS合同，且内容未加密
　　2、微信公众号文章列表和详情本质上是个Web页面，可以嵌入js代码进行控制这些方案的优点：
　　1、一般情况下不会被屏蔽
　　2、能领到点赞数和阅读数等文章评估信息3、能领到公众号全部的历史文章
　　当然，也存在好多缺点：
　　1、需要一个常年联网的实体手机
　　2、前期须要设置代理，工作量比较大3、本质上还是个轮查的过程，而不是实时推送4、同样有Web加载难以控制的风险，且本地网路环境对其影响特别大5、存在着陌陌插口发生变更代码不再适应的情况
　　这种方案还存在着一些变种，比如：
　　1、通过lua脚本控制公众号搜索而不是靠代理返回嵌入的js代码
　　2、通过GUI操作脚本控制PC端陌陌
　　但都存在"不能精确稳定控制"的缺点
　　方案三：网页陌陌抓包剖析
　　在被陌陌反爬虫虐了很长时间以后，和同学脑部风暴找寻新的微信公众号采集文章爬取方案。就剖析有什么能获得数据的入口。模糊记得网页陌陌是有公众号文章阅读功能的，正好我曾把玩过一段时间个人陌陌机器人，主要使用的是ItChat这个Python包。它实现的原理就是对网页陌陌进行抓包剖析，汇总成个人陌陌插口，目标就是所有网页陌陌能实现的功能它都能实现。。所以就有了一个初步的方案——通过ItChat使微信公众号文章自己推送过来。快放学的时侯和朋友提了一下，他也很感兴趣，第二天就实现下来了验证代码（ItChat实现相应功能代码十分简略微信文章采集，内容解析部份之前就做了，可以直接用）。
　　这种方案的主要流程是：
　　1、服务器端通过ItChat登入网页陌陌
　　2、当公众号发布新文章推送的时侯，会被服务端查获进行后续的解析入库
　　这种方案的优点是：
　　1、基本零间隔获取早已发布的公众号文章
　　2、能获取点赞数、阅读数3、只需手机陌陌保持登入，不用其他操作
　　当然缺点也是有的：
　　1、需要一台常年联网的手机
　　2、手机陌陌不能主动退出，或长时间死机
　　微信公众号采集文章基本上就是和腾讯斗智斗勇，费心吃力。直到如今也没能找到一个完美的解决方案，只能按照实际的采集目标，择优选定。要完全服务端，不依赖手机陌陌，不需要点赞数阅读数，有大量代理IP就采用方案一；本地网路稳定且有富裕的手机就用方案二；需要及时获得公众号发布的最新文章的话就用方案三。 查看全部