搜索引擎如何抓取网页(1.平面结构或树形结构说到网站结构优化相对于物理结构)

　　搜索引擎如何抓取网页(1.平面结构或树形结构说到网站结构优化相对于物理结构)

　　1.扁平结构或树形结构

　　说到网站结构，大家都会提到扁平结构和树形结构，一定要称之为“扁平结构”。这些是指物理结构，它由基于内容聚合的目录和文件位置确定。

　　其实对于百度搜索引擎来说，只要结构合理、逻辑合理、内容合规，就是友好的。

　　2.链接结构优化

　　与其说物理结构，不如说逻辑结构：内部链接形成的链接结构，而逻辑结构是搜索引擎最关心的。

　　对于一个网站来说，一个网页一层一层的遍历首页目录1目录2是不够的。一个好的连接结构应该是网格化的。

　　让百度通过导航更好地理解网站。对于用户来说，导航要解决的问题是：我在网站的什么地方，我想在哪里看到更多的内容到上层，甚至上层。

　　对于爬虫来说，导航要解决的问题是：这个页面属于哪个字段，应该表达什么主题。因此，清晰的导航系统不仅有助于改善用户体验，而且对 SEO 也具有重要意义。所有带SEO的好网站基本上都有清晰的导航。

　　导航内容搜索引擎可见：网站的导航对用户来说美观友好，但对百度是不可见的。目前百度还不能全部做JS和flash。为了安全起见，请尝试使用 HTML。虽然图片很漂亮，但它们也不是搜索引擎友好的导航。

　　导航稳定性：导航内容要相对固定，不要让导航变成“滚动条”。

　　重要网页尽量在导航中关注：百度认为主导航中的链接仅次于网站首页，所以我们应该尽量为网站中的网页安排一个位置在主导航。

　　当然，在主导航上放太多内容是不可能的，主导航上可以放哪些链接也需要SEO人员去权衡。

　　智能使用面包屑：如前所述，导航解决了用户“找到一个层次，甚至更多层次”的问题。此导航是指面包屑导航。

　　面包屑可以使复杂的结构 网站 清晰而轻巧。当蜘蛛解析页面时，它会专注于面包屑导航内容。强烈建议使用它。

　　合理的域名结构除了网站的建设，站长还会考虑是使用二级域名还是子目录。在网站的操作过程中，他们也会考虑是否将子目录的内容分成两级域名。

　　因为很多SEO人员认为二级域名比较独立，它的首页会得到百度的关注，可以获得更好的排名——其实这是片面的错误观点，百度会用很多指标来判断二级——一级域名 同域下的域名和子目录的重要性，不要随意认为谁天生就比谁好。

　　当 SEO 觉得 网站 的结构阻碍了 网站 的快速发展时，会考虑修改。更常见的修改是将子目录移出主站点，形成一个单独的二级域名。

　　但是大家都知道改版肯定会影响网站的排名和流量，所以要小心。那么，在什么情况下真正需要将子目录改为二级域名呢？其实只有一点：就是子目录的内容足够丰富，主域的主题关联性不强！

　　3、 URL结构优化也很重要，尽量短

　　URL结构规范化：同一个网页有不同的URL，会导致多个URL同时被用户推荐，导致权重分散；同时，百度最终选择展示的网址可能并不符合您的预期。

　　网站您应该尽量不要在 URL 中放置不必要的内容，例如会话 ID 和统计代码。如果必须，您可以禁止百度机器人抓取这些非标准 URL

　　用户从URL判断网页内容，方便蜘蛛在用户之间解析和传播

　　URL规范化是指搜索引擎选择最合适的URL作为真实URL的过程。例如，当您什么都不做时，一个新的 网站 实际上将有四个 URL，例如：

　　如果我们必须使用不同的域名来显示相同​​的内容，我们可以使用 rel="canonical" 标签来添加上面的内容。

　　动态参数不宜过多或过于复杂。目前百度对动态 URL 的处理非常好，但是参数太多、太复杂的 URL 可能会因为不重要而被蜘蛛丢弃。

　　如果你想开发网站或者优化你的网站，可以找专业的开发公司来帮助你满足你的开发需求：厦门关爱科技-专注小程序开发，APP开发，厦门网站定制开发，H5小游戏开发