php登录抓取网页指定内容(wordpress建站教程：noindex指令分享建站的处理方法！)

　　php登录抓取网页指定内容(wordpress建站教程：noindex指令分享建站的处理方法！)

　　（此处已添加小程序，请到今日头条客户端查看）

　　继续分享WordPress建站教程，今天我们来说说noindex命令。有的朋友在使用wordpress建站时可能会设置为禁止先爬。如果在robots.txt文件中直接设置禁止爬取，则什么都没有，后面可以修改。但是，如果你在创建wordpress的时候勾选了【建议搜索引擎不要索引这个站点】，那么可能会出现一些问题，因为这个选项会在你的网站中添加一个noindex标签，与百度。影响，因为百度不支持，但是对谷歌和必应影响很大，因为这两个搜索引擎会严格执行这个指令，优先级高于robots.txt文件。

　　​如上图所示，如果你的wordpress站点之前勾选了【建议搜索引擎不要索引这个站点】，即使你后面取消了，你的网站中仍然会存在noindex标签，很顽固！这对正在搭建WordPress外贸网站的用户影响很大。如果处理不当，会直接影响你外贸建站的效果，因为Bing和Google基本不会收录你的网站！那么该怎么办？接下来，月然建展给大家分享一下处理方法。

　　//移除 meta robots，代码由悦然wordpress建站收集整理

add_filter('wp_robots', 'fanly_basic_robots_remove_noindex', 999);

function fanly_basic_robots_remove_noindex( $robots ){

return get_option('blog_public') ? [] : $robots;

}

　　将以上代码添加到当前wordpress网站主题的functions.php文件中，保存后再清除缓存生效。它也可以直接添加到代码片段插件中。

　　​一般情况下，只要不限制网站的抓取，谷歌搜索网站收录的速度是比较快的。一周左右收到基本没问题。它可能在一两天内很快。可以收录主页。如上图所示，删除noindex标签后的第二天，月然网站的一个网站被Google搜索到了收录。