搜索引擎如何抓取网页(那么，如何控制搜索引擎，抓取指定网站页面？(图))

　　搜索引擎如何抓取网页(那么，如何控制搜索引擎，抓取指定网站页面？(图))

　　那么，如何控制搜索引擎抓取指定的网站页面呢？

　　一.屏蔽不需要爬取的页面

　　首先，我们需要屏蔽不需要机器人抓取的页面，防止权重分散。当然，我们还需要使用 Nofollow 来阻止包括联系信息和关于我们的页面上的蜘蛛，以及聚合权重。

　　二.提高网站页面的呈现率

　　然后，我们将改进本文中指定页面的收录。我们一般的做法是增加网站中指定页面的显示率，比如：页面A，我们不仅希望它出现在首页的文章更新栏，我们还让它出现在侧边栏，因为通常网站的侧边栏是整个站点通用的，我们可以为侧边栏设置不同的显示栏，包括：最新推荐文章，最关注文章等，不过要多也不容易。一般侧边栏出现2-3次，防止过度优化。当然，我们也可以通过网站列表中排名靠前的页面来显示链接，提高页面的显示效果。

　　当然，我们以文章页面为例，因为一般情况下，排在网站的页面就是首页和文章页面。当我们需要安排特定的页面时，道理是一样的。只是链接显示的位置没有文章页面显示的那么自然。我们可以通过打开栏目或者直接修改页面代码来添加链接，效果是一样的。

　　三.加强相关内部链接

　　添加内部链接也会提升指定页面的收录。一般的做法是将网站中权重较高的页面指向需要收录的页面，寻找那些可以被他们排名的页面。高低过滤，如果没有排名，可以通过已经收录的页面指向指定页面。

　　当你看到这个的时候，你可能会觉得这和上一个不太一样。这是一个解释。提高显示率就是显示指定页面的标题，增加内链接点就是指向指定页面，通过其他页面的锚文本进行锚定。正文是页面的关键词，也可以是相关的同义词，以增加页面的多样性，也满足指定页面未来的排名需求。