抓取网页生成电子书( 站点地图是一个网站所有链接的容器。你了解吗？)

　　抓取网页生成电子书(

站点地图是一个网站所有链接的容器。你了解吗？)

　　站点地图是网站所有链接的容器。许多 网站 连接很深，爬虫很难爬取。站点地图可以方便爬虫爬取 网站 页面。通过对网站页面的爬取，可以清楚的了解网站，网站地图一般存放在根目录并命名为sitemap来引导爬虫，添加网站的收录 @>重要内容页面。站点地图是根据网站的结构、框架和内容生成的导航网页文件。站点地图非常适合改善用户体验，它们为网站访问者提供方向并帮助迷路的访问者找到他们想查看的页面。

　　定义

　　站点地图是一种可视化工具，指示信息资源的位置和连接，并具有导航功能。关键在于四个方面：信息获取、信息检索、信息表示和信息关联。简而言之，就是将首页的信息按照类别以地图的形式列出，并提供相应的链接，可以为用户提供首页的整体信息，是用户准确查找的快捷入口他们需要的信息。

　　分类

　　1、sitemap(sitemap.xml,sitemap.txt) 这类站点地图收录网站的所有链接，一般提交给爬虫爬取。让搜索引擎转到 收录网站 内容。

　　2、网站导航，主要针对访问网站的用户。对网站连接进行分类，排序后展示在用户面前。

　　特征

　　可以烧结

　　这是站点地图应具有的重要功能。因为对图形的理解比文字更快更准确。这里所说的站点地图的内容虽然是用文字来表达的，但它是以地图的形式出现的，并且列出了每一栏的相关类别和子栏目。他们之间的关系表达得很清楚。它具有很强的能见度。它是用户查找所需信息资源的便捷方式。

　　加速

　　此功能在站点地图上尤为明显。网页内容清晰地​​显示在“地图”上，用户对首页信息一目了然。在站点地图上，还为显示的类别提供了超链接，用户可以点击超链接直接进入他们需要的栏目。这使用户能够准确、快速地找到他们需要的信息。

　　同步更新

　　站点地图是使用首页信息的辅助工具，它必须是随着首页信息内容的变化而建立的站点地图。随着首页信息的变化，它会及时调整自己的内容，保持与首页信息的高度一致性。

　　构建技巧

　　重要页面

　　如果站点地图收录太多链接，人们会在浏览时迷路。因此，如果 网站 页的总数超过 100，则需要选择最重要的页。推荐选择以下页面放在网站地图上：产品分类页面；主要产品页面；常见问题和帮助页面；页面被转换；访问量最高的 10 个页面；如果有现场搜索引擎，请从搜索引擎中选择点击次数最多的页面。

　　地图布局

　　站点地图布局必须简洁，所有链接均为标准HTML文本，并收录尽可能多的关键字，站点地图中不要使用图片制作链接，以免爬虫爬取。确保对链接使用标准 HTML 文本，包括尽可能多的目标关键字。例如，标题“我们的产品”可以替换为“无害除草剂、杀虫剂和杀菌剂”。

　　顾客习惯

　　用户通常希望每个页面底部都有指向站点地图的链接，以利用这种习惯。如果 网站 有搜索栏，请在搜索栏附近添加指向 网站 地图的链接，甚至将指向站点地图的链接放置在搜索结果页面上的固定位置。

　　将站点地图写入 robots.txt

　　引擎爬虫进来爬取网页时，会先检查robots.txt。如果先将sitemap写入robots.txt，效率会大大提高，从而获得搜索引擎的青睐。

　　产生

　　网上生成sitemap的方式有很多种，比如在线生成、软件生成等。Sitemap地图可以提交给各大搜索引擎，让搜索引擎更好的在网站页面上执行收录 ，而且我们还可以通过robots.txt告诉搜索引擎地图的位置。将准备好的网站映射上传到网站根目录。最重要的是将网站地图链接地址添加到robots文件中，使网站地图在页面上方便蜘蛛抓取位置，一般将网站地图放在页眉和页脚。

　　1、网站普通html格式的地图

　　其目的是帮助用户了解整个网站。Html格式的网站map是根据网站的结构特点制定的，将网站的功能结构和服务内容依次列出。通常，网站 主页具有指向该格式的 网站 地图的链接。

　　2、XML 站点地图通常称为站点地图（大写 S）

　　简单地说，站点地图是 网站 上的链接列表。创建站点地图并将其提交给搜索引擎可以让网站 的内容完全收录，包括那些隐藏得更深的页面。这是网站与搜索引擎交谈的好方法。

　　3、搜索引擎识别的地图

　　因为各个搜索引擎主要对地图格式的识别不同，所以推荐使用以下格式：

　　百度：推荐使用网站的Html格式地图

　　Google：推荐网站XML 格式的地图

　　雅虎：网站推荐txt格式的地图

　　重要性

　　1、搜索引擎让爬虫每天爬网爬取页面。站点地图的作用是为爬虫构建一个方便快捷的爬取通道，因为网站页面是一层一层的链接，可能会有死链接。如果没有站点地图，由于死链接，爬虫无法在页面上爬取，因此它无法收录 那些损坏的链接。

　　2、sitemaps的存在不仅仅是为了满足搜索引擎爬虫，也是为了方便网站访问者浏览网站，尤其是门户类型网站，由于信息量大许多访问者通过站点地图找到他们需要的信息页面，这也可以改善用户体验。

　　3、Sitemap 可以增加链接页面的权重，因为sitemap 是指向其他页面的链接。此时，站点地图会向页面添加导入链接。我们都知道导入链接的增加会影响页面的权重，所以增加页面的权重，页面权重的增加也会增加页面的收录率。

　　注意事项

　　真实有效

　　站点地图的主要目的是方便搜索和抓取。如果地图有死链接或者断链，会影响网站网站在搜索引擎中的权重，所以要仔细检查是否有错误的链接地址，检查网站的链接是否正确提交前通过站长工具有效。

　　简化

　　站点地图中不应有重复链接，应使用标准 W3C 格式的地图文件。布局应简洁明了。如果地图是内容地图，每个页面收录的内容链接不要超过100个，并且应该以分页的形式逐个打开。

　　更新

　　建议经常更新sitemap，方便搜索爬虫爬取频率的发展。经常会产生新的地图内容，这样的网站内容可以更快地被搜索引擎收录抓取，而网站内容也可以尽快被搜索引擎检索到。

　　多样性

　　站点地图不仅仅是为了搜索引擎，也是为了方便查看者，所以网站地图应该兼顾搜索引擎和查看者。我们通常为一个 网站 构建三个站点地图。sitemap.html 页面美观、简洁、大方，让浏览器很容易找到目标页面，同时也很开心。XML仔细研究了自己的网站，把重要的页面标记出来，不需要的页面加上NO FOLLOW，更有利于搜索引擎识别。URLLIST.TXT 或 ROBOTS.TXT 如果方便的话，最好自己做。雅虎等搜索引擎比较认可，谷歌也有这个项目。另外，网站地图位置要写在robots文本中，也就是格式。