Google和Baidu等搜素引擎不喜欢重复内容怎么办?
优采云 发布时间: 2021-05-17 00:26Google和Baidu等搜素引擎不喜欢重复内容怎么办?
1、搜索引擎(例如Google和百度)不喜欢重复的内容,尤其是重复的页面。如果它收录您有太多重复的页面,它将不再爱你。你知道后果。
2、为了减少网站中的多余页面,我们可以使用robots.txt文件。
3、 robots.txt是一个文本文件,位于网站的根目录中。搜索引擎将定期对该文件进行爬网,并根据该文件中指定的规则确定要爬网的内容。什么内容。
4、如果您的博客是WordPress,并且像Slyar一样位于辅助目录/ blog中,则仍需要将robots.txt文件放置在网站的根目录中,只需在文件中指定它即可目录很好。
5、并非所有搜索引擎都支持allow语句,因此请尽量不要使用allow语句,而应将所有内容都替换为disallow。
6、搜索引擎将过滤URL中“#”(井号)之后的内容,因此您可以忽略锚点标记的URL。
7、以下是Slyar的robots.txt文件。您可以使用Google在Google 网站管理员工具中提供的抓取错误消息来自行确定哪些网址需要禁止使用。
用户代理:*
不允许:/ blog /?
不允许:/ blog / *。php $
不允许:/blog/index.php?
不允许:/ blog / wp-content / uploads
不允许:/ blog / wp-content / plugins
不允许:/ blog / wp-content / themes
不允许:/ blog / wp-includes
不允许:/ blog / wp-admin
不允许:/ blog / * / comment-page-*
不允许:/ blog / feed /
不允许:/ blog / * / feed
不允许:/ blog / * / * / feed
不允许:/ blog / page /
不允许:/ blog / author
不允许:/ blog / * / * / page /
不允许:/ blog / wap