httpunit 抓取网页( Sitemap（站点地图）（文件格式）)

　　httpunit 抓取网页(

Sitemap（站点地图）（文件格式）)

　　提交站点地图

　　站点地图是一个文件，允许网站管理员列出 网站 上的网页，通知搜索引擎有关 网站 内容的组织。

　　神马等搜索引擎网络爬虫会读取这个文件来更智能地爬取网站内容

　　理想情况下，如果您的 网站 页面链接正确，Whatsminer 的网络爬虫将能够发现其中的大部分。即便如此，提交站点地图可以帮助搜索引擎更有效地抓取 网站，尤其是如果 网站 满足以下条件之一：

　　1.网站 是一个新的网站 并且没有很多指向这个网站 的外部链接。搜索引擎的网络爬虫通过跟踪它们之间的链接来抓取网页，如果没有其他 网站 链接到您的页面，则可能找不到您的页面。

　　2.网站规模很大。在这种情况下，Whatsminer 的网络爬虫在爬取时可能会漏掉一些新页面。

　　3.网站 中的大量内容页面断开连接或缺少有效链接。如果您的 网站 页面不能自然地相互引用，您可以在站点地图中列出它们，以确保搜索引擎不会错过您的页面。

　　需要注意的是，神马搜索会按照正常流程对Sitemap进行分析处理，但不保证会对您提交的所有网址进行抓取和索引，也不保证其在搜索结果中的排名。站点地图格式：

　　WhatsMiner 支持的站点地图文件包括标准 xml 文件和索引 xml 文件。一个标准的 xml 文件最多收录 10,000 个 URL。如果 URL 超过 10,000，则可以使用索引 xml 文件。被索引的 xml 被限制为不超过三层。

　　标准 xml 文件格式示例：

　　2014-05-01

　　日常

　　0.5

　　2014-05-01

　　日常

　　0.8

　　索引xml文件格式示例：

　　1.顶级站点地图格式