国外网页视频抓取工具(就是网站开通cloudflare后百度站长平台的robots功能无法使用)

　　国外网页视频抓取工具(就是网站开通cloudflare后百度站长平台的robots功能无法使用)

　　最近站长发现一个问题，就是网站打开cloudflare后，百度站长平台的robots功能无法使用。

　　具体情况如下：

　　1、站长打开cloudflare后使用百度站长平台的robots功能，提示如下：

　　您的服务器配置错误

　　百度暂时无法连接到您的服务器。请检查服务器设置，确保您的网站服务器可以正常访问。错误代码：500

　　2、根据提示，很明显是网站的服务器有问题，但是此时网站可以正常打开，并且使用“爬取诊断”功能站长平台的，结果提示网站爬取也正常。

　　3、此时站长将此issue发到反馈中心，第二天收到的反馈是：

　　您好，该工具最近正在调整，无法正常使用。带来不便敬请谅解。我们会尽快优化。感谢您的反馈意见。

　　4、反馈该功能“不起作用”？于是我又测试了一个没有打开cloudflare的网站，提示：Your Robots file has changed

　　这说明不是百度站长平台的Robots功能无法使用，而是打开cloudflare的网站无法抓取或识别他的Robots，这是一个bug，希望官方人员修复这个更快的特点。

　　知识扩展：

　　一、什么是cloudflare

　　简单来说，cloudflare是国外的CDN加速服务商，还是很有名气的。提供免费和付费加速和网站保护服务。站长派使用cloudflare的免费加速和网站保护服务。

　　具体方法可以直接去cloudflare官网了解一下。因为整个设置过程属于傻瓜式的操作，所以站长不会给出具体说明。

　　二、百度站长平台的机器人功能是做什么的？

　　其实它提供了检测网站的robots文件，检测URL是否被阻止抓取的功能，如下：

　　1、robots.txt可以告诉百度你的网站哪些页面可以爬取，哪些页面不能爬取。

　　2、 您可以使用机器人工具来创建、验证和更新您的 robots.txt 文件，或者在百度中查看您的 网站robots.txt 文件的状态。

　　3.，Robots工具目前支持48k文件内容检测，请确保你的robots.txt文件不要太大，目录长度不要超过250个字符。