网站内容抓取(更新网站地图引导搜索引擎收录、设置清晰结构，目录层次尽量简化)

　　网站内容抓取(更新网站地图引导搜索引擎收录、设置清晰结构，目录层次尽量简化)

　　更新网站地图，引导搜索引擎收录内页一、设置清晰的结构，尽可能简化目录层次。这是构建网站最基本也是非常重要的部分，因为基本上一旦设置了就不会改变（当然可以通过301来改变）。虽说“酒香不怕巷子深”，但蜘蛛们可没耐心转了几圈才看到你的文章。因此，建立清晰的结构至关重要。这里说的更清楚一点：目录多一层，内页权重就降低了，所以目录越浅，内页权重就越高。内页的权重更高，网站 的整体权重也随之上升。两者实际上是相辅相成的。那么，如何设置呢？这个也很简单，目前主流的cms，博客程序可以自定义栏目目录，文章网页名，如果使用伪静态，也可以设置为根目录，所以重量会更高是的，这是我一直使用的方法。二、首页的权重分布合理，nofollow的运用毫无疑问。nofollow的作用可以在seo中发挥很大的作用。关键在于如何使用它以及在哪里使用它。新手扫盲优先：在html代码的链接部分使用nofollow标签。只要在链接代码中添加“rel=nofollow”，搜索引擎（Yahoo 除外）就会认为您没有将权重传递给该页面。实际上，

　　而如果在某些地方使用了nofollow标签，就相当于将节省下来的部分权重重新分配给其他页面。那么，究竟应该在哪里使用nofollow呢？这里笔者给出一点建议，大家可以根据自己的情况来决定：1.“关于我们”、“友情链接”、“广告赞助”等页面可以nofollowed。事实上，即使这些页面是收录无用的，更不用说将权重分散到它们身上，因为内容是由特定的人阅读的，其他人不会通过搜索引擎来到这些页面。2.多次显示的内页。不可否认，如果同一个内页在首页多次出现，就意味着它更有价值，会获得更多的权重。然而，许多 网站 网站首页为了饱满美观，过多的显示了“推荐阅读”、“热门文章”、“最近评论”、“其他人正在阅读”等导航。对seo优化不是很好。所以，笔者的建议是适当nofollow一些。3.栏目页面。一些固定的网站不能从栏目页面中获得任何好处，相反文章页面可能会带来更多的客户。因此，不要留情地关注 文章 页面。三、做好301定向，不要让内页的重量分散。之前也提到过，那就是：如果一个页面可以通过多种方式访问​​，最好为其他表单设置301重定向和301跳转到避免权重分散的表单。实际上，

　　所以要做好301，不要让内页的权重分散。当然，这一般仅限于伪静态网站，因为一般生成的静态文章页面只能以一种形式访问。我不会在这里详细介绍。您可以了解更多关于301转向方法的实现。四、更新地图网站，引导搜索引擎收录内页网站地图，相信大家都不陌生。使用 网站 地图，蜘蛛可以更好、更方便地抓取您的网页。所以经常更新 网站 地图。谷歌可以在网站管理工具中提交符合格式要求的网站地图，百度也可以提交站点地图，但尚未开放公测。当然，我们可以自己制作一个网站地图，其实就是一个网页，列出了文章页面的地址。像这样的插件在主流cms和博客系统中都有，如果能自动更新就更好了。生成 网站 地图后，在 网站 的底部或顶部提供指向“网站地图”页面的链接，以便蜘蛛发现您的地图。五、做好网站标题网站标题最标准最优化的写法就是用长尾词作为标题，比如“什么是反向链接？ " 标题简单明了，有一些人必须在标题中叠加关键词。这显然不是一个好的做法，但是其中最好的是什么，那么我们就有了“什么是反向链接，

　　1.坚持每日网站内容更新

　　2.坚持每一天网站新的外链是收录

　　3.链接

　　4.网站内部