网站搜索引擎优化教程( 搜索引擎如何将抓取频次分配给网站的机制，提高网站排名和有机流量的技巧)

　　网站搜索引擎优化教程(

搜索引擎如何将抓取频次分配给网站的机制，提高网站排名和有机流量的技巧)

　　搜索引擎如何给网站的机制分配爬取频率？百度蜘蛛抓取频率优化完整指南

　　百度蜘蛛的抓取频率更像是一个SEO概念。大多数情况下，站长并不关心百度蜘蛛的抓取频率，因为抓取频率对中小企业几乎没有影响网站。

　　尽管大多数 网站 管理员不需要担心抓取频率，但如果您正在运行大型 网站，抓取频率是我们可以（并且应该）优化的 SEO 因素。

　　当然，随着 SEO 的发展，爬取频率和排名的关系并不简单，爬取本身并不是一个排名因素，但是从某个角度来说，爬取频率对搜索引擎优化有着间接的影响（这也是造成搜索引擎优化的原因）蜘蛛池的流行）。

　　在本指南中，我将讲解相关的爬取概念，搜索引擎如何将爬取频率分配给网站的机制，以及如何充分利用爬取频率来最大化网站的排名和排名的技巧为有机交通。

　　内容

　　网络蜘蛛的好与坏

　　网络蜘蛛、爬虫或机器人是不断“访问”和抓取网页以采集某些信息的计算机程序。

　　根据爬行的目的，可以区分以下几种蜘蛛：

　　搜索引擎蜘蛛；

　　网络服务蜘蛛；

　　黑客蜘蛛；

　　搜索引擎蜘蛛由百度、谷歌或360等搜索引擎管理。这种蜘蛛可以抓取互联网上的所有页面（前提是可以找到）并提供给搜索引擎的索引库。

　　许多网络服务，例如 SEO 工具、购物、旅游和优惠券 网站 都有自己的网络索引和蜘蛛。例如，WebMeUp 有一个名为 Blexbot 的蜘蛛，每天可以抓取数百亿个页面。采集反向链接数据并将数据提供给其链接索引（SEO SpyGlass 中使用的链接索引）。

　　黑客也喜欢繁殖蜘蛛。他们使用蜘蛛来测试各种 网站 漏洞。一旦发现漏洞，他们可能会尝试访问您的 网站 或服务器。

　　你可能会听到人们谈论好蜘蛛和坏蜘蛛，我是这样区分它们的：任何旨在为非法目的采集信息的蜘蛛都是坏的，其余的都是好的。

　　大多数蜘蛛在用户代理字符串的帮助下识别自己，并提供 URL，您可以在其中了解有关蜘蛛的更多信息：

　　在本文中，我将重点介绍搜索引擎蜘蛛以及它们如何抓取 网站。

　　了解抓取频率

　　抓取频率是搜索引擎蜘蛛在一定时间内点击网站的次数。例如，百度通常每月点击我的网站 1000 次。我可以说1K是百度每月的爬虫频率，请注意这些爬虫的数量和频率没有一般限制；。

　　为什么抓取频率很重要？

　　从逻辑上讲，你应该注意抓取频率，因为你想让百度在网站上发现尽可能多的重要网页，同时你也希望它能在你的网站上快速找到新的内容和crawl 获取的频率越高，这种情况发生的速度就越快。

　　确定爬取频率

　　您可以在百度网站管理员工具中查看您的网站抓取频率。比如你需要确定自己的百度爬取频率，登录百度站长账号，进入数据监控->爬取频率，这里会看到每天的爬取频率。

　　从上面的报告中可以看出，百度平均每天抓取我大约 30 次。可以看出我每个月的爬取频率是30*30=900。

　　当然，这个数字很容易改变和波动，但它会给你一个可靠的想法，你的网站在一定时间内可以被爬取多少页。

　　如果需要更详细地查看每个页面的爬取统计信息，则必须分析服务器日志。日志文件的位置取决于服务器配置。

　　如果您不确定如何访问服务器日志，请向您的系统管理员或托管服务提供商寻求帮助。

　　原创日志文件难以阅读和分析。要理解这些，您需要绝对水平的正则表达式技能或专门的工具。我更喜欢使用光年日志分析工具进行分析。

　　如何分配抓取频率？

　　对于搜索引擎优化，我们并不完全了解搜索引擎是如何形成网站的抓取频率的。所有博主对网页内容进行梳理，搜索引擎使用以下两个因素来确定抓取频率：

　　人气——越流行的网页会被更频繁地抓取；

　　过时-百度不会使有关网页的信息过时。对于网站管理员来说，这意味着如果网页内容更新频繁，百度会更频繁地尝试抓取网页。

　　假设一个网站的抓取频率与反向链接的数量和网站在百度眼中的重要性成正比——百度希望确保最重要的网页仍然是最新的。

　　内部链接呢？是否可以通过指向更多内部链接来提高特定页面的抓取速度？

　　为了回答这些问题，我决定检查一下内链和外链的相关性和爬虫统计。我采集了网站的11条数据，进行了简单的分析。简而言之，这是我完成的。

　　我为 11 个将要分析的站点创建了项目。我计算了每个 网站 网页的内部链接数量。接下来，我运行了 SEO Spyglass 并为相同的 11 个站点创建了项目。在每个项目中，我检查了统计数据并复制了每个页面的外部链接数量的锚点 URL。

　　然后，我分析了服务器日志中的抓取统计数据，以了解百度访问每个网页的频率。最后，我把所有这些数据放到一个电子表格中，计算出内链和爬虫预算、外链和爬虫预算的相关性。

　　我发现了一件非常有趣的事情。以下是我分析的网站的样本电子表格之一：

　　我的数据集证明，蜘蛛访问次数和外部链接数量之间存在很强的相关性（0,978)。同时，蜘蛛点击次数和内部链接之间的相关性被证明非常弱(0 ,154)，说明反向链接比网站链接更重要。

　　这是否意味着增加抓取频率的唯一方法是建立链接并发布新内容？如果我们讨论网站的整个朱雀频率，我会说：添加链接并经常更新网站，并且网站的抓取频率会成比例地增加。

　　但是，当我们单独取一个页面时，它会变得更有趣，正如您在下面的介绍中看到的，您甚至可能会在没有意识到的情况下浪费大量的抓取频率。通过巧妙地管理频率，您通常可以将单个网页的抓取次数增加一倍——但它仍然会与每个网页的反向链接数量成正比。

　　如何充分利用抓取频率

　　现在，我们已经发现爬行很重要，管理爬行频率是否需要更多时间？

　　你应该（或不应该）做很多事情来让搜索蜘蛛消耗更多的 网站 页面。以下是最大化爬取频率函数的操作列表：

　　1.保证重要页面可以被抓取，如果搜索到的内容不提供价值，就会被屏蔽。

　　.htaccess 和 robots.txt 不应阻塞 网站 的重要页面。机器人应该能够访问 CSS 和 Javascript 文件。同时，要屏蔽不想在搜索中显示的内容，屏蔽网站的“建设中”中间区域和动态生成的网址等。

　　请记住，搜索引擎蜘蛛并不总是遵循 robots.txt 中收录的说明。你有没有在百度搜索结果中看到过这样的片段？

　　Robots.txt 不保证网页不会出现在搜索结果中：百度仍可根据外部信息（如传入链接）确定其相关性。如果你想明确地阻止一个页面被索引，你应该使用 noindex robots meta tag 或 X-Robots-Tag HTTP header，在这种情况下，你不应该在 robots.txt 中禁止该页面，因为页面必须被抓取到查看并遵守标签。