从开源工具中汲取知识之网页爬虫工具

　　从开源工具中汲取知识之网页爬虫工具

　　今天分析了几款网站爬虫开源工具，其主要作用是辅助安全测试人员，测试网站功能，发现网站漏洞，本着学习的原则，通过阅读源码的方式来学习其核心技术，从而有助于我们自身编写相关脚本，在实际的工作中应用它来提升工具效率。

　　参考工具gospider

　　常见 sitemap 的路径：

　　sitemapUrls := []string{"/sitemap.xml", "/sitemap_news.xml", "/sitemap_index.xml", "/sitemap-index.xml", "/sitemapindex.xml", "/sitemap-news.xml", "/post-sitemap.xml", "/page-sitemap.xml", "/portfolio-sitemap.xml", "/home_slider-sitemap.xml", "/category-sitemap.xml", "/author-sitemap.xml"}

　　获取 sitemap 可以提取网站的一些链接信息

　　url 提取正则，如果提取的url不包含网站，则进行修复： <p>(?:"|')(((?:[a-zA-Z]{1,10}://|//)[^"'/]{1,}\.[a-zA-Z]{2,}[^"']{0,})|((?:/|\.\./|\./)[^"'>