网站采集工具

网站采集工具

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-06-21 05:49 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

python爬虫基础之简易网页搜集器

采集交流 • 优采云 发表了文章 • 0 个评论 • 108 次浏览 • 2022-06-21 05:45 • 来自相关话题

　　python爬虫基础之简易网页搜集器
　　
　　简易网页搜集器前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　简易网页搜集器
　　前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　不知道在学会了爬取之后，你有没有跟我一样试着去爬取一些搜索页面，比如说百度。像这样的页面
　　
　　注意我红笔划的部分，这是我打开的网页。现在我希望能爬取这一页的数据，按我们前面学的代码，应该是这样写的：
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 发送请求
　　response = requests.get(url)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼.html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　然而打开我们保存的文件，发现结果跟我们想的不太一样
　　
　　我们发现我们保存的文件是一个空白的页面，这是为什么呢？
　　其实上我们把网址改成搜狗的可能或更直观一些（不知道为什么我这边的搜狗总是打不开，所以就用百度做例子，可以自己写写有关搜狗搜索的代码），同样的代码改成搜狗的网址结果是这样的
　　我们发现其中有句话是 “ 网络中存在异常访问 ”，那么这句话是什么意思呢？
　　这句话的意思就是说，搜狗或是百度注意到发送请求的是爬虫程序，而不是人工操作。
　　那么这其中的原理又是什么呢？
　　简单来说，就是程序访问和我们使用浏览器访问是有区别的，被请求的服务器都是靠 user-agent 来判断访问者的身份，如果是浏览器就接受请求，否则就拒绝。这就是一个很常见的反爬机制。
　　那是不是我们就没有办法呢？
　　非也~所谓魔高一尺，道高一丈。既然要识别 user-agent ，那么我们就让爬虫模拟 user-agent 好了。
　　在python中模拟输入数据或是 user-agent ，我们一般用字典
　　就这样子写：
　　<p>header = {
　　"user-agent": "" # user-agent 的值 是一个长字符串
　　}</p>
　　那么 user-agent 的值又是怎么得到的呢？
　　1. 打开任意网页，右键点击，选择“检查”
　　
　　2. 选择“ Network ”（谷歌浏览器）（如果是中文，就选择 “网络” 这一项）
　　
　　3. 如果发现点开是空白的，像这样，那就刷新网页
　　
　　刷新后是这样的：
　　然后随机选择红笔圈起来的一项，我们会看到这样的东西，然后在里面找到“user-agent”，把它的值复制下来就行了
　　
　　有了 “user-agent”， 我们在重新写我们的爬取网页的代码，就可以了
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 模拟 “user-agent”，即 UA伪装
　　header = {
　　"user-agent" : "" # 复制的 user-agent 的值
　　}
　　# 发送请求
　　response = requests.get(url, headers = header)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼(UA伪装).html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　再次运行，然后打开文件
　　
　　这次成功了，说明我们的爬虫程序完美地骗过了服务器
　　到此这篇关于python爬虫基础之简易网页搜集器的文章就介绍到这了
　　
　　搜索下方加老师微信 查看全部

　　python爬虫基础之简易网页搜集器
　　
　　简易网页搜集器前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　简易网页搜集器
　　前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　不知道在学会了爬取之后，你有没有跟我一样试着去爬取一些搜索页面，比如说百度。像这样的页面
　　
　　注意我红笔划的部分，这是我打开的网页。现在我希望能爬取这一页的数据，按我们前面学的代码，应该是这样写的：
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 发送请求
　　response = requests.get(url)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼.html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　然而打开我们保存的文件，发现结果跟我们想的不太一样
　　
　　我们发现我们保存的文件是一个空白的页面，这是为什么呢？
　　其实上我们把网址改成搜狗的可能或更直观一些（不知道为什么我这边的搜狗总是打不开，所以就用百度做例子，可以自己写写有关搜狗搜索的代码），同样的代码改成搜狗的网址结果是这样的
　　我们发现其中有句话是 “ 网络中存在异常访问 ”，那么这句话是什么意思呢？
　　这句话的意思就是说，搜狗或是百度注意到发送请求的是爬虫程序，而不是人工操作。
　　那么这其中的原理又是什么呢？
　　简单来说，就是程序访问和我们使用浏览器访问是有区别的，被请求的服务器都是靠 user-agent 来判断访问者的身份，如果是浏览器就接受请求，否则就拒绝。这就是一个很常见的反爬机制。
　　那是不是我们就没有办法呢？
　　非也~所谓魔高一尺，道高一丈。既然要识别 user-agent ，那么我们就让爬虫模拟 user-agent 好了。
　　在python中模拟输入数据或是 user-agent ，我们一般用字典
　　就这样子写：
　　<p>header = {
　　"user-agent": "" # user-agent 的值 是一个长字符串
　　}</p>
　　那么 user-agent 的值又是怎么得到的呢？
　　1. 打开任意网页，右键点击，选择“检查”
　　
　　2. 选择“ Network ”（谷歌浏览器）（如果是中文，就选择 “网络” 这一项）
　　
　　3. 如果发现点开是空白的，像这样，那就刷新网页
　　
　　刷新后是这样的：
　　然后随机选择红笔圈起来的一项，我们会看到这样的东西，然后在里面找到“user-agent”，把它的值复制下来就行了
　　
　　有了 “user-agent”， 我们在重新写我们的爬取网页的代码，就可以了
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 模拟 “user-agent”，即 UA伪装
　　header = {
　　"user-agent" : "" # 复制的 user-agent 的值
　　}
　　# 发送请求
　　response = requests.get(url, headers = header)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼(UA伪装).html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　再次运行，然后打开文件
　　
　　这次成功了，说明我们的爬虫程序完美地骗过了服务器
　　到此这篇关于python爬虫基础之简易网页搜集器的文章就介绍到这了
　　
　　搜索下方加老师微信

信息收集工具 -- weblive

采集交流 • 优采云 发表了文章 • 0 个评论 • 57 次浏览 • 2022-06-19 19:41 • 来自相关话题

　　信息收集工具 -- weblive
　　嘴硬到底是什么概念，大概就是，你问我是怎么想的，其实我眼泪都要掉下来了，但我还是说了句，算了，就这样吧。。
　　---- 网易云热评
　　环境：Kali202003
　　一、GO环境配置
　　1、下载地址
　　2、解压并配置相关环境
　　打开/etc/profile,添加环境变量export PATH=$PATH:/usr/local/go/bin
　　
　　3、使环境变量立即生效，并查看版本信息
　　
　　二、weblive使用方法
　　1、简介
　　webinfo 是一个高并发网站信息获取工具，可用于获取到目标相关子域名大量资产后，进行存活扫描，获取域名解析的ip，识别cdn，轻量级识别指纹、获取标题
　　webinfo使用go语言编写，发挥golang协程优势，快速扫描获取网站信息，多平台通用
　　2、下载地址：
　　3、下载到本地：git clone
　　4、进入该目录运行gobuild
　　cd weblive
　　go build weblive.go
　　5、加入目标地址
　　将需要扫描的域名保存到url.txt文件中，执行webinfo
　　6、 结果会放到result文件夹中，网站信息保存为Excel表格，不存在cdn的真实ip保存到ip.txt文件中
　　百度一下，你就知道
　　200
　　182.61.200.7,182.61.200.6
　　false
　　jQuery
　　The world’s leading software development platform · GitHub
　　200
　　13.250.177.223
　　false
　　Ruby on Rails,GitHub Pages,Bootstrap
　　首页 - Go语言中文网 - Golang中文社区
　　200
　　59.110.219.94
　　false
　　jQuery,Bootstrap,Google AdSense,Marked,Gravatar,Nginx,Font Awesome
　　禁止非法，后果自负 查看全部

　　信息收集工具 -- weblive
　　嘴硬到底是什么概念，大概就是，你问我是怎么想的，其实我眼泪都要掉下来了，但我还是说了句，算了，就这样吧。。
　　---- 网易云热评
　　环境：Kali202003
　　一、GO环境配置
　　1、下载地址
　　2、解压并配置相关环境
　　打开/etc/profile,添加环境变量export PATH=$PATH:/usr/local/go/bin
　　
　　3、使环境变量立即生效，并查看版本信息
　　
　　二、weblive使用方法
　　1、简介
　　webinfo 是一个高并发网站信息获取工具，可用于获取到目标相关子域名大量资产后，进行存活扫描，获取域名解析的ip，识别cdn，轻量级识别指纹、获取标题
　　webinfo使用go语言编写，发挥golang协程优势，快速扫描获取网站信息，多平台通用
　　2、下载地址：
　　3、下载到本地：git clone
　　4、进入该目录运行gobuild
　　cd weblive
　　go build weblive.go
　　5、加入目标地址
　　将需要扫描的域名保存到url.txt文件中，执行webinfo
　　6、 结果会放到result文件夹中，网站信息保存为Excel表格，不存在cdn的真实ip保存到ip.txt文件中
　　百度一下，你就知道
　　200
　　182.61.200.7,182.61.200.6
　　false
　　jQuery
　　The world’s leading software development platform · GitHub
　　200
　　13.250.177.223
　　false
　　Ruby on Rails,GitHub Pages,Bootstrap
　　首页 - Go语言中文网 - Golang中文社区
　　200
　　59.110.219.94
　　false
　　jQuery,Bootstrap,Google AdSense,Marked,Gravatar,Nginx,Font Awesome
　　禁止非法，后果自负

【新手入门】优采云采集器简介

采集交流 • 优采云 发表了文章 • 0 个评论 • 111 次浏览 • 2022-06-19 19:27 • 来自相关话题

　　【新手入门】优采云采集器简介
　　既然阁下找到了这篇文章，想必一定是非常有品位，非常有追求。普通的采集软件肯定无法满足你对美好生活的向往，也无法助你走向人生巅峰。你选择我们就对了！！！
　　
　　本文主要给大家简单介绍一下我们这款采集器软件。优点太多，请慢慢看，不要捉急哟 。
　　
　　优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件。
　　该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。
　　
　　优采云采集器不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。
　　通过使用优采云采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。
　　
　　优采云采集器具有行业领先的技术优势，可以同时支持Windows、Mac和Linux全操作系统的采集器。
　　
　　针对不同基础的用户，它支持两种不同的采集模式，可以采集99%的网页。
　　1、智能采集模式：
　　
　　该模式操作极其简单，只需要输入网址就能智能识别网页中的内容，无需配置任何采集规则就能够完成数据的采集。
　　
　　2、流程图采集模式：
　　
　　完全符合人工浏览网页的思维方式，用户只需要打开被采集的网站，根据软件给出的提示，用鼠标点击几下就能自动生成复杂的数据采集规则；
　　
　　这么好用的一款产品，它居然还是免费的！费的！的！
　　
　　怎么个免费法？请看这篇文章→_→ 优采云采集器是不是免费的？
　　 查看全部

　　【新手入门】优采云采集器简介
　　既然阁下找到了这篇文章，想必一定是非常有品位，非常有追求。普通的采集软件肯定无法满足你对美好生活的向往，也无法助你走向人生巅峰。你选择我们就对了！！！
　　
　　本文主要给大家简单介绍一下我们这款采集器软件。优点太多，请慢慢看，不要捉急哟 。
　　
　　优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件。
　　该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。
　　
　　优采云采集器不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。
　　通过使用优采云采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。
　　
　　优采云采集器具有行业领先的技术优势，可以同时支持Windows、Mac和Linux全操作系统的采集器。
　　
　　针对不同基础的用户，它支持两种不同的采集模式，可以采集99%的网页。
　　1、智能采集模式：
　　
　　该模式操作极其简单，只需要输入网址就能智能识别网页中的内容，无需配置任何采集规则就能够完成数据的采集。
　　
　　2、流程图采集模式：
　　
　　完全符合人工浏览网页的思维方式，用户只需要打开被采集的网站，根据软件给出的提示，用鼠标点击几下就能自动生成复杂的数据采集规则；
　　
　　这么好用的一款产品，它居然还是免费的！费的！的！
　　
　　怎么个免费法？请看这篇文章→_→ 优采云采集器是不是免费的？
　　

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 86 次浏览 • 2022-06-17 10:30 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

网站采集工具被应用到运营策略中的六种不同类型

采集交流 • 优采云 发表了文章 • 0 个评论 • 96 次浏览 • 2022-06-15 07:01 • 来自相关话题

　　网站采集工具被应用到运营策略中的六种不同类型
　　网站采集工具在这个互联网信息飞速发展的时代被广泛使用，好处是节省人力物力，还能快速获取用户行为数据，优化内容运营，那么它是怎么被应用到运营策略中的呢？所谓网站采集工具就是大量的爬虫在互联网上各种信息堆积，然后自动处理，从中提取重复的信息，然后存在数据库里，像google、百度搜索引擎、浏览器等都会预先准备好数据，就像存的资料库一样，每次你在浏览的时候，只需要输入相关关键词就可以搜索到你要的信息，而且只要定期更新就行，从而达到网站的流量裂变，提高网站使用率等。
　　网站采集工具的广泛运用在一定程度上降低了运营人员的工作量和繁琐程度，让更多的运营人员从繁杂的事务中解放出来，专注于产品和运营上，我在使用过程中发现了六种不同类型的工具，你要用的话一定要看一下。
　　一、快速广告传播平台facebook、twitter、youtube、谷歌等网站采集工具1.大家是不是还在苦于对接谷歌等平台推广运营自己的facebook账号?2.有的是在等待谷歌等平台下单，不想用人工来操作等等，如果你发现了高效快速的平台，那么恭喜你，facebook、twitter、tumblr等这些是你的首选，这些快速谷歌与facebook采集工具简单方便，分分钟采集，所有行业行业，要是你想短时间就获取大量facebook，twitter数据，在平台采集上一定要使用谷歌搜索引擎。
　　3.不用担心人工操作，即使你还没有产品运营，只要是做广告平台，thinkagain,再不用采集facebook，twitter数据，这些快速工具网站采集数据，只要你输入关键词，即可进行采集，而且有上万条结果，不用自己看，只要你可以帮助到运营人员就好。4.还有就是对于tumblr，facebook搜索引擎等的上万条信息，如果你想多产品，多关键词的获取，那么比如你想采集tumblr上多于两万条信息，你需要购买这些平台的数据，购买价格不菲，那么这时候你要想想其他高效的网站采集工具，如百度采集工具，网易采集工具等等。
　　二、文本采集工具关键词采集平台：360大数据、爱站采集平台、排名采集工具、快传采集工具等平台信息采集工具：google爬虫，淘宝爬虫，百度爬虫，快慢头条爬虫，百度采集器，全网统计，平台采集，
　　三、音频采集平台关键词采集平台：易词采集平台、站长工具、翻译网站、翻译工具、快告诉采集平台等平台信息采集工具：好啊采集平台，
　　四、视频采集平台：ted演讲、开讲啦网、腾讯公开课等平台信息采集工具：优酷、搜狐、等等。
　　五、图片采集平台：爱采图、天府在线等工具信息采集工具：51图片，
　　六、数据库采集平台：百度百科， 查看全部

　　网站采集工具被应用到运营策略中的六种不同类型
　　网站采集工具在这个互联网信息飞速发展的时代被广泛使用，好处是节省人力物力，还能快速获取用户行为数据，优化内容运营，那么它是怎么被应用到运营策略中的呢？所谓网站采集工具就是大量的爬虫在互联网上各种信息堆积，然后自动处理，从中提取重复的信息，然后存在数据库里，像google、百度搜索引擎、浏览器等都会预先准备好数据，就像存的资料库一样，每次你在浏览的时候，只需要输入相关关键词就可以搜索到你要的信息，而且只要定期更新就行，从而达到网站的流量裂变，提高网站使用率等。
　　网站采集工具的广泛运用在一定程度上降低了运营人员的工作量和繁琐程度，让更多的运营人员从繁杂的事务中解放出来，专注于产品和运营上，我在使用过程中发现了六种不同类型的工具，你要用的话一定要看一下。
　　一、快速广告传播平台facebook、twitter、youtube、谷歌等网站采集工具1.大家是不是还在苦于对接谷歌等平台推广运营自己的facebook账号?2.有的是在等待谷歌等平台下单，不想用人工来操作等等，如果你发现了高效快速的平台，那么恭喜你，facebook、twitter、tumblr等这些是你的首选，这些快速谷歌与facebook采集工具简单方便，分分钟采集，所有行业行业，要是你想短时间就获取大量facebook，twitter数据，在平台采集上一定要使用谷歌搜索引擎。
　　3.不用担心人工操作，即使你还没有产品运营，只要是做广告平台，thinkagain,再不用采集facebook，twitter数据，这些快速工具网站采集数据，只要你输入关键词，即可进行采集，而且有上万条结果，不用自己看，只要你可以帮助到运营人员就好。4.还有就是对于tumblr，facebook搜索引擎等的上万条信息，如果你想多产品，多关键词的获取，那么比如你想采集tumblr上多于两万条信息，你需要购买这些平台的数据，购买价格不菲，那么这时候你要想想其他高效的网站采集工具，如百度采集工具，网易采集工具等等。
　　二、文本采集工具关键词采集平台：360大数据、爱站采集平台、排名采集工具、快传采集工具等平台信息采集工具：google爬虫，淘宝爬虫，百度爬虫，快慢头条爬虫，百度采集器，全网统计，平台采集，
　　三、音频采集平台关键词采集平台：易词采集平台、站长工具、翻译网站、翻译工具、快告诉采集平台等平台信息采集工具：好啊采集平台，
　　四、视频采集平台：ted演讲、开讲啦网、腾讯公开课等平台信息采集工具：优酷、搜狐、等等。
　　五、图片采集平台：爱采图、天府在线等工具信息采集工具：51图片，
　　六、数据库采集平台：百度百科，

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 94 次浏览 • 2022-06-14 23:52 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

子域名资产收集工具分享

采集交流 • 优采云 发表了文章 • 0 个评论 • 54 次浏览 • 2022-06-12 04:40 • 来自相关话题

　　子域名资产收集工具分享
　　资产收集是渗透工作中一项重要的工作，有时候某个资产可能会给我们带来惊喜。以下就是本人常用的几个子域名收集工具，现分享出来给大家参考参考。
　　在线域名收集
　　1.LCY师傅分享的一个在线子域名收集工具：
　　这个网站速度还比较快，但是貌似自身的字典不算太强，具体各位看官可以使用体验一下。
　　2.证书在线查询网站：
　　这个相对子域名收集来说，效果不会太理想，但也能补充一些子域名，曾经就通过这个找到一些某src的未授权运维平台，碰碰运气还是可以的。3.查询网：这个是用的比较多的一个收集子域名方式，速度也是比较快的。4.Google Hacking
　　这个就是我们经常讲的，利用搜索引擎进行一个子域名收集。
　　5.FOFA&Shodan&quake
　　这几个都是类似的平台，都是网络空间测绘平台，也可以用于子域名收集。
　　子域名收集工具&平台1.lijiejie的子域名收集工具：
　　并发非常高，所以占用的带宽也会相对高一些，在同一网络环境下，使用这个工具的时候容易导致其他终端无法联网。
　　2.ring04h的子域名收集工具：3.aboul3la的子域名收集工具：
　　这些都是脚本形式执行子域名收集的，这类的收集工具，好处是可以自己添加字典进行收集，收集的速率也挺快，但目前本人也只是用过subDomainsBrute这个脚本，其余的两个各位看官可自行试用测试一下。
　　4.Layer子域名挖掘机
　　这款工具年代久远了，几年前就开始用这款工具进行收集了，至于效果也还行，下载地址就不放了，大家可以自行百度搜索一下。
　　5.ARL资产侦察灯塔系统：
　　这款是用的比较多的平台，也是近两年热度比较的一款开源资产收集平台，不单可以收集资产还可以初步对收集到的资产进行目录扫描等一些简单的扫描，可发现一些风险，还是比较实用的一个平台。
　　以上就是Leat想要跟大家分享的一些子域名收集方式，如有错误欢迎指正。当然，这里不会是全部的收集姿势，相信各位看官会有自己的一套收集方式，也非常欢迎大家在评论区分享自己的觉得比较好的方式，方式无好坏、高低之分，只要用的好、用的习惯都能成为大家的一把利器，主要还是要有自己的一套方法论。
　　声明：本文作为个人学习记录使用，请勿用于非法行为，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，本公众号与文章作者不为此承担任何责任。 查看全部

　　子域名资产收集工具分享
　　资产收集是渗透工作中一项重要的工作，有时候某个资产可能会给我们带来惊喜。以下就是本人常用的几个子域名收集工具，现分享出来给大家参考参考。
　　在线域名收集
　　1.LCY师傅分享的一个在线子域名收集工具：
　　这个网站速度还比较快，但是貌似自身的字典不算太强，具体各位看官可以使用体验一下。
　　2.证书在线查询网站：
　　这个相对子域名收集来说，效果不会太理想，但也能补充一些子域名，曾经就通过这个找到一些某src的未授权运维平台，碰碰运气还是可以的。3.查询网：这个是用的比较多的一个收集子域名方式，速度也是比较快的。4.Google Hacking
　　这个就是我们经常讲的，利用搜索引擎进行一个子域名收集。
　　5.FOFA&Shodan&quake
　　这几个都是类似的平台，都是网络空间测绘平台，也可以用于子域名收集。
　　子域名收集工具&平台1.lijiejie的子域名收集工具：
　　并发非常高，所以占用的带宽也会相对高一些，在同一网络环境下，使用这个工具的时候容易导致其他终端无法联网。
　　2.ring04h的子域名收集工具：3.aboul3la的子域名收集工具：
　　这些都是脚本形式执行子域名收集的，这类的收集工具，好处是可以自己添加字典进行收集，收集的速率也挺快，但目前本人也只是用过subDomainsBrute这个脚本，其余的两个各位看官可自行试用测试一下。
　　4.Layer子域名挖掘机
　　这款工具年代久远了，几年前就开始用这款工具进行收集了，至于效果也还行，下载地址就不放了，大家可以自行百度搜索一下。
　　5.ARL资产侦察灯塔系统：
　　这款是用的比较多的平台，也是近两年热度比较的一款开源资产收集平台，不单可以收集资产还可以初步对收集到的资产进行目录扫描等一些简单的扫描，可发现一些风险，还是比较实用的一个平台。
　　以上就是Leat想要跟大家分享的一些子域名收集方式，如有错误欢迎指正。当然，这里不会是全部的收集姿势，相信各位看官会有自己的一套收集方式，也非常欢迎大家在评论区分享自己的觉得比较好的方式，方式无好坏、高低之分，只要用的好、用的习惯都能成为大家的一把利器，主要还是要有自己的一套方法论。
　　声明：本文作为个人学习记录使用，请勿用于非法行为，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，本公众号与文章作者不为此承担任何责任。

子域名搜集工具整理

采集交流 • 优采云 发表了文章 • 0 个评论 • 69 次浏览 • 2022-06-12 04:33 • 来自相关话题

　　子域名搜集工具整理
　　
　　目录
　　- 介绍- Sublist3r2- Subfinder- Amass- OneforAll- 暴力破解- 总结- 尾
　　介绍
　　马上9月份了，见很多SRC都有提交漏洞兑换月饼的活动，就想着趁月底几天去挖一挖，之前虚拟机还原了，所以存的一些搜集子域名的工具都没了，这里我在Github上又重新找了几个星数比较多的，都尝试一下，也欢迎大家有好的工具或者方法进行留言分享。
　　Sublist3r2
　　根据介绍，该工具主要是利用情报来搜集子域名，这个工具使用的时候会报一些错误，有人更新了sublist3r2，这里就测试下sublist3r2的效果。
　　sublist3r2支持子域名暴破，自带了一个十几万的字典，这里不测试暴破，暴破的话可以最后把所有字典整合一下，然后找个高并发的工具去跑。
　　sublist3r2测试：这个工具在搜集期间，有用到virustotal，会让输入key，key可以登录后在主页获取。
　　刚开始是在kali中安装的，运行时中间会报一段异常，但不影响结果的输出，异常提示的是googleenum，是因为无法访问谷歌造成的。
　　
　　测试过程中，如果不访问谷歌，域名数量是103个，这里换成云服务器再次尝试，域名找到数量是276个，谷歌的信息搜集影响的结果偏差还是挺大的。

　　Sublist3r2使用总结：建议加上virustotal的key，机器可以访问谷歌。不暴破的情况下，用d参数指定域名即可：
　　python sublist3r2.py -d xxx.com
　　暴破的情况下，需要加上b参数，默认线程是7000，可以通过t指定：
　　python sublist3r2.py -d xxx.com -b -t 5000
　　Subfinder
　　subfinder用go写的，所以跨平台支持很好，像windows直接一个exe文件就可以，初步印象给人感觉用起来就很舒服，工具核心是被动搜集域名，主要通过一些网站做信息搜集，所以各个网站的apikey必须有，这种加key和不加key，是两种结果。
　　它都是从哪些平台搜集信息，可以在github上的readme查看，或者使用ls参数查询，注册这些平台，登录获取key添加到配置文件中就行（能填的填一下，有些注册有门槛）。
　　
　　这里还是测试的同样的域名，找到了2154个，这个结果有点震惊其实，因为之前搜集域名基本没有这样去注册一些平台key，之前用oneforall也需要加key，懒得去搞。
　　这个结果大概看了下，有很多多级域名，也有很多子域名并不常见，暴破的话总会有疏漏，这种多平台的搜集反而可以弥补下暴破的短板。但也会存在一些问题，比如这些域名都是通过被动搜集来的，没有经过验证，不确定是否可访问。
　　这里针对subfinder的域名结果进行了url存活检测（github搜索url存活找一些脚本就行），2154大概能检测出来600个左右。
　　Amass
　　这个工具首先看是由owasp维护，相对其它一些个人工具的话，维护方面更稳定，有新技术也会及时更新上，看介绍是用来发现资产暴漏面的，比如公司域名、子域名、IP等等，这里看下子域名搜集。
　　它也有配置文件，可以配置key进去，这里就先不配了，使用最基本的enum模块来搜集域名信息：
　　amass enum -d xxx.com
　　即使这样，它去搜集的信息源还是挺多的，同样域名搜集到了342个，相对很不错了，结果看起来的话，感觉质量也很高，配置key，估计结果更优。
　　为了更好的发掘下这个工具对子域名搜集的能力，这里决定配置下key重新尝试，首先查看amass enum所支持的数据源：
　　
　　不带星号的说明没法用，需要配置，这里把带星号的排去：
　　
　　上面列表中很多之前在subfinder都有，再挑几个比较熟悉的加一下就可以，例如hunter、ipinfo、whoisxmlapi这些，像其它脸书、推特什么的就不要了。
　　配置的时候，把相应选项注释去掉，添加key就可以：

　　使用config参数指定配置文件：
　　amass enum -d xxx.com -config config.ini -o xxx.com.txt
　　结果是1156，加key和不加key是两个工具，进行url检测的话，可以筛出来450个左右。
　　amass其它用法参考文章：
　　OneforAll
　　相同域名的话，oneforall全部默认配置，结果显示为524个，实际上默认的csv结果是包括存活和不存活的，即所有结果，对csv的active字段进行筛选，大概在350个，包括http和https，只算域名大概在180左右，配置文件中，默认有使用暴力破解，字典使用的是不到两千个的子域名，不过也提供了一个超大字典，这里先进行关闭：
　　
　　这里看了下oneforall的api key配置，使用上大体和subfinder、amass差不多，但也有几个区别，比如国内常用的fofa、站长之家有添加，像bing也有，但也有subfinder存在的，而oneforall没有的，所以这个东西，api key平台大体一样，只是个别平台上的区别。
　　把oneforall能填的key大体填填再测试，结果大概有500个左右。
　　这里域名如果是一些比较大型的公司，它可能子域名会多一点，而oneforall有一个enable_finder_module模块默认开启，意思是要从子域的js文件和响应体中再次发现子域名，这种情况很容易导致子域变得过多而且不够准确的情况，如果这种匹配结果过多，就会报错，issue有人提出了这个问题：
　　有人测试超过十万就报此错误，错误最开始提示的是Start Finder module，所以可以先把finder这个模块关掉，需求并不是很大，不关的话，是不会生成csv结果的。
　　还有个问题就是默认的一些google模块是无法访问的，可以在云服务器上运行，也可以给它设置代理，启用代理，使用代理的模块默认就可以：

　　这里测试代理是成功的，本机v2rayn会有日志记录，但实际oneforall运行时会有一些站点请求显红，报timeout，猜测可能超时原因，超时设置这里没看到具体的调整位置，介意的话完全可以放到云服务器运行。
　　暴力破解
　　暴破字典的话，倒没有必要去搜集整理，oneforall自带的那个超大字典挺全面的，有了字典拿支持暴破的工具暴破就可以，之前用的挖掘机会多点，后来发现也会存在一些问题，比如字典大了加载会卡死，或者暴破多级域名、导出结果过多的时候，都会有一段卡死的现象，后来就不用了。
　　暴破多线程很重要，多线程go支持就很好，但像subfinder主要针对的是信息搜集，没看到暴破相关的用法。但这块oneforall有提供，默认2000的线程，最大推荐不超过10000，还是挺不错的，暴破模块也进行了分离，所以很方便。
　　使用方法参考：
　　总结
　　1，主要是信息搜集和字典暴破，信息搜集主要是靠搜索引擎和平台，字典暴破主要靠字典。
　　2，sublist3r2的话涉及到的平台相对较少，可以不用。
　　3，subfinder、amass、oneforall涉及到的平台差不多，但有个别的区别，使用的时候可以结合去重。
　　4，subfinder国外平台会多点，oneforall国内的会多点，amass整体也不错，amass作为资产暴漏面搜集，也提供了其它一些实用的功能。
　　5，暴破的话可以把sublist3r2的字典和oneforall的字典整理整理，或者再搜集些其它字典加进去，然后用oneforall的brute进行暴破。
　　6，上面结果也有误差，一个是结果数验证存活包括了http和https，都是估算，再一个，可能站点在8080上或其它端口，另外，平台key也都不一样，所以不能说哪个好用哪个不好用，
　　尾
　　工具试着试着就31号了，还挖个der呀，下个月中秋看别人吃月饼。 查看全部

　　子域名搜集工具整理
　　
　　目录
　　- 介绍- Sublist3r2- Subfinder- Amass- OneforAll- 暴力破解- 总结- 尾
　　介绍
　　马上9月份了，见很多SRC都有提交漏洞兑换月饼的活动，就想着趁月底几天去挖一挖，之前虚拟机还原了，所以存的一些搜集子域名的工具都没了，这里我在Github上又重新找了几个星数比较多的，都尝试一下，也欢迎大家有好的工具或者方法进行留言分享。
　　Sublist3r2
　　根据介绍，该工具主要是利用情报来搜集子域名，这个工具使用的时候会报一些错误，有人更新了sublist3r2，这里就测试下sublist3r2的效果。
　　sublist3r2支持子域名暴破，自带了一个十几万的字典，这里不测试暴破，暴破的话可以最后把所有字典整合一下，然后找个高并发的工具去跑。
　　sublist3r2测试：这个工具在搜集期间，有用到virustotal，会让输入key，key可以登录后在主页获取。
　　刚开始是在kali中安装的，运行时中间会报一段异常，但不影响结果的输出，异常提示的是googleenum，是因为无法访问谷歌造成的。
　　
　　测试过程中，如果不访问谷歌，域名数量是103个，这里换成云服务器再次尝试，域名找到数量是276个，谷歌的信息搜集影响的结果偏差还是挺大的。

　　Sublist3r2使用总结：建议加上virustotal的key，机器可以访问谷歌。不暴破的情况下，用d参数指定域名即可：
　　python sublist3r2.py -d xxx.com
　　暴破的情况下，需要加上b参数，默认线程是7000，可以通过t指定：
　　python sublist3r2.py -d xxx.com -b -t 5000
　　Subfinder
　　subfinder用go写的，所以跨平台支持很好，像windows直接一个exe文件就可以，初步印象给人感觉用起来就很舒服，工具核心是被动搜集域名，主要通过一些网站做信息搜集，所以各个网站的apikey必须有，这种加key和不加key，是两种结果。
　　它都是从哪些平台搜集信息，可以在github上的readme查看，或者使用ls参数查询，注册这些平台，登录获取key添加到配置文件中就行（能填的填一下，有些注册有门槛）。
　　
　　这里还是测试的同样的域名，找到了2154个，这个结果有点震惊其实，因为之前搜集域名基本没有这样去注册一些平台key，之前用oneforall也需要加key，懒得去搞。
　　这个结果大概看了下，有很多多级域名，也有很多子域名并不常见，暴破的话总会有疏漏，这种多平台的搜集反而可以弥补下暴破的短板。但也会存在一些问题，比如这些域名都是通过被动搜集来的，没有经过验证，不确定是否可访问。
　　这里针对subfinder的域名结果进行了url存活检测（github搜索url存活找一些脚本就行），2154大概能检测出来600个左右。
　　Amass
　　这个工具首先看是由owasp维护，相对其它一些个人工具的话，维护方面更稳定，有新技术也会及时更新上，看介绍是用来发现资产暴漏面的，比如公司域名、子域名、IP等等，这里看下子域名搜集。
　　它也有配置文件，可以配置key进去，这里就先不配了，使用最基本的enum模块来搜集域名信息：
　　amass enum -d xxx.com
　　即使这样，它去搜集的信息源还是挺多的，同样域名搜集到了342个，相对很不错了，结果看起来的话，感觉质量也很高，配置key，估计结果更优。
　　为了更好的发掘下这个工具对子域名搜集的能力，这里决定配置下key重新尝试，首先查看amass enum所支持的数据源：
　　
　　不带星号的说明没法用，需要配置，这里把带星号的排去：
　　
　　上面列表中很多之前在subfinder都有，再挑几个比较熟悉的加一下就可以，例如hunter、ipinfo、whoisxmlapi这些，像其它脸书、推特什么的就不要了。
　　配置的时候，把相应选项注释去掉，添加key就可以：

　　使用config参数指定配置文件：
　　amass enum -d xxx.com -config config.ini -o xxx.com.txt
　　结果是1156，加key和不加key是两个工具，进行url检测的话，可以筛出来450个左右。
　　amass其它用法参考文章：
　　OneforAll
　　相同域名的话，oneforall全部默认配置，结果显示为524个，实际上默认的csv结果是包括存活和不存活的，即所有结果，对csv的active字段进行筛选，大概在350个，包括http和https，只算域名大概在180左右，配置文件中，默认有使用暴力破解，字典使用的是不到两千个的子域名，不过也提供了一个超大字典，这里先进行关闭：
　　
　　这里看了下oneforall的api key配置，使用上大体和subfinder、amass差不多，但也有几个区别，比如国内常用的fofa、站长之家有添加，像bing也有，但也有subfinder存在的，而oneforall没有的，所以这个东西，api key平台大体一样，只是个别平台上的区别。
　　把oneforall能填的key大体填填再测试，结果大概有500个左右。
　　这里域名如果是一些比较大型的公司，它可能子域名会多一点，而oneforall有一个enable_finder_module模块默认开启，意思是要从子域的js文件和响应体中再次发现子域名，这种情况很容易导致子域变得过多而且不够准确的情况，如果这种匹配结果过多，就会报错，issue有人提出了这个问题：
　　有人测试超过十万就报此错误，错误最开始提示的是Start Finder module，所以可以先把finder这个模块关掉，需求并不是很大，不关的话，是不会生成csv结果的。
　　还有个问题就是默认的一些google模块是无法访问的，可以在云服务器上运行，也可以给它设置代理，启用代理，使用代理的模块默认就可以：

　　这里测试代理是成功的，本机v2rayn会有日志记录，但实际oneforall运行时会有一些站点请求显红，报timeout，猜测可能超时原因，超时设置这里没看到具体的调整位置，介意的话完全可以放到云服务器运行。
　　暴力破解
　　暴破字典的话，倒没有必要去搜集整理，oneforall自带的那个超大字典挺全面的，有了字典拿支持暴破的工具暴破就可以，之前用的挖掘机会多点，后来发现也会存在一些问题，比如字典大了加载会卡死，或者暴破多级域名、导出结果过多的时候，都会有一段卡死的现象，后来就不用了。
　　暴破多线程很重要，多线程go支持就很好，但像subfinder主要针对的是信息搜集，没看到暴破相关的用法。但这块oneforall有提供，默认2000的线程，最大推荐不超过10000，还是挺不错的，暴破模块也进行了分离，所以很方便。
　　使用方法参考：
　　总结
　　1，主要是信息搜集和字典暴破，信息搜集主要是靠搜索引擎和平台，字典暴破主要靠字典。
　　2，sublist3r2的话涉及到的平台相对较少，可以不用。
　　3，subfinder、amass、oneforall涉及到的平台差不多，但有个别的区别，使用的时候可以结合去重。
　　4，subfinder国外平台会多点，oneforall国内的会多点，amass整体也不错，amass作为资产暴漏面搜集，也提供了其它一些实用的功能。
　　5，暴破的话可以把sublist3r2的字典和oneforall的字典整理整理，或者再搜集些其它字典加进去，然后用oneforall的brute进行暴破。
　　6，上面结果也有误差，一个是结果数验证存活包括了http和https，都是估算，再一个，可能站点在8080上或其它端口，另外，平台key也都不一样，所以不能说哪个好用哪个不好用，
　　尾
　　工具试着试着就31号了，还挖个der呀，下个月中秋看别人吃月饼。

信息收集常用的工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 79 次浏览 • 2022-06-11 17:54 • 来自相关话题

　　信息收集常用的工具
　　信息收集
　　一、对象
　　1.网站 ：源码 robots文件 后台登录2.服务器 ：IP地址 服务器操作系统类型和版本 端口开放情况3.管理员 ：个人信息  手机号  社交账号  常用密码  敏感数字
　　二、网站操作类型识别方式
　　windows ：不区分大小写Linux ：区分大小写
　　三、网站指纹识别工具
　　 御剑指纹识别 云悉在线指纹识别 kali——whatweb  火狐浏览器插件——Wappalyzer
　　四、目录扫描/敏感文件扫描
　　搜索网站目录下面的敏感文件 间接识别网站使用的框架或者内容管理系统工具 ：御剑指纹识别 谷歌黑客语法 site：限制搜索范围的域名 inurl：限制搜索的url中必须存在的内容 intext：限制搜索的页面中必须存在的内容 intitle：限制搜索的页面的标题栏中的内容    filetype：限制搜索的文件类型
　　五、IP查询
　　命令：ping nslookup工具：站长之家 ip138
　　六、端口扫描
　　nmap御剑端口扫描shell、python脚本
　　七、whois查询
　　站长工具ip138中国万网爱站网
　　八、子域名查询
　　查询方式：枚举(暴力破解) 工具：子域名挖掘机
　　九、空间搜索引擎
　　shadon钟馗之眼fofa
　　十、常见端口
　　21：文件传输 FTP22：SSH23：Telnet25：电子邮件53：DNS67：DHCP110：POP3135：RPC139：NetBIOS443：HTTPS445：SMB协议3306：MySQL3389：远程桌面1521：Orale1433：sql server
　　原文地址：https://blog.csdn.net/d1996a/a ... 40677
　　
　　历史文章 查看全部

　　信息收集常用的工具
　　信息收集
　　一、对象
　　1.网站 ：源码 robots文件 后台登录2.服务器 ：IP地址 服务器操作系统类型和版本 端口开放情况3.管理员 ：个人信息  手机号  社交账号  常用密码  敏感数字
　　二、网站操作类型识别方式
　　windows ：不区分大小写Linux ：区分大小写
　　三、网站指纹识别工具
　　 御剑指纹识别 云悉在线指纹识别 kali——whatweb  火狐浏览器插件——Wappalyzer
　　四、目录扫描/敏感文件扫描
　　搜索网站目录下面的敏感文件 间接识别网站使用的框架或者内容管理系统工具 ：御剑指纹识别 谷歌黑客语法 site：限制搜索范围的域名 inurl：限制搜索的url中必须存在的内容 intext：限制搜索的页面中必须存在的内容 intitle：限制搜索的页面的标题栏中的内容    filetype：限制搜索的文件类型
　　五、IP查询
　　命令：ping nslookup工具：站长之家 ip138
　　六、端口扫描
　　nmap御剑端口扫描shell、python脚本
　　七、whois查询
　　站长工具ip138中国万网爱站网
　　八、子域名查询
　　查询方式：枚举(暴力破解) 工具：子域名挖掘机
　　九、空间搜索引擎
　　shadon钟馗之眼fofa
　　十、常见端口
　　21：文件传输 FTP22：SSH23：Telnet25：电子邮件53：DNS67：DHCP110：POP3135：RPC139：NetBIOS443：HTTPS445：SMB协议3306：MySQL3389：远程桌面1521：Orale1433：sql server
　　原文地址：https://blog.csdn.net/d1996a/a ... 40677
　　
　　历史文章

快速收集子域名工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 59 次浏览 • 2022-06-11 17:36 • 来自相关话题

　　快速收集子域名工具
　　
　　
　　基于网络查询的快速子域名收集工具
　　主要是为了快速收集平台的学校子域名等目标写的一些工具集合.
　　下载 taoman 使用命令:
　　python taoman.py -f data/edusrc_school_domains.txt
　　taoman 运行效果图:

　　data 目录:
　　根据网络查询收集的平台上学校的 10 万左右域名,过滤出的域名元数据与简单统计的数据.
　　可用 pydictor 的 -tool counter 功能,结合自己需求,筛选data目录内元数据的高频域名单词, 作为针对教育行业子域名爆破的爆破字典.
　　edusrc_SLD_name_raw_list 常用二级域名单词元数据
　　edusrc_SLD_top_1000 1000个最常用的二级域名单词
　　edusrc_SLD_top_3000 3000个最常用的二级域名单词
　　edusrc_SLD_unique_name 去重后的所有二级域名单词
　　edusrc_MLD_name_raw_list 常用多级域名单词元数据
　　edusrc_MLD_top_300 300个最常用的多级域名单词
　　edusrc_MLD_top_600 600个最常用的多级域名单词
　　edusrc_school_domains 使用collectfromsrc收集的学校主页地址
　　edusrc_school_name 使用collectfromsrc收集的学校名字
　　others 目录:
　　domain_to_ip.py 一个批量解析域名为ip地址的小脚本,使用socket.gethostbyname方法实现,自动修正非法域名、结果去重.
　　collectfromsrc.py 一个自动收集src平台学校名字并利用百度找到名字对应的主页地址的小脚本 查看全部

　　快速收集子域名工具
　　
　　
　　基于网络查询的快速子域名收集工具
　　主要是为了快速收集平台的学校子域名等目标写的一些工具集合.
　　下载 taoman 使用命令:
　　python taoman.py -f data/edusrc_school_domains.txt
　　taoman 运行效果图:

　　data 目录:
　　根据网络查询收集的平台上学校的 10 万左右域名,过滤出的域名元数据与简单统计的数据.
　　可用 pydictor 的 -tool counter 功能,结合自己需求,筛选data目录内元数据的高频域名单词, 作为针对教育行业子域名爆破的爆破字典.
　　edusrc_SLD_name_raw_list 常用二级域名单词元数据
　　edusrc_SLD_top_1000 1000个最常用的二级域名单词
　　edusrc_SLD_top_3000 3000个最常用的二级域名单词
　　edusrc_SLD_unique_name 去重后的所有二级域名单词
　　edusrc_MLD_name_raw_list 常用多级域名单词元数据
　　edusrc_MLD_top_300 300个最常用的多级域名单词
　　edusrc_MLD_top_600 600个最常用的多级域名单词
　　edusrc_school_domains 使用collectfromsrc收集的学校主页地址
　　edusrc_school_name 使用collectfromsrc收集的学校名字
　　others 目录:
　　domain_to_ip.py 一个批量解析域名为ip地址的小脚本,使用socket.gethostbyname方法实现,自动修正非法域名、结果去重.
　　collectfromsrc.py 一个自动收集src平台学校名字并利用百度找到名字对应的主页地址的小脚本

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 96 次浏览 • 2022-06-10 08:46 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

URLextractor 一款信息收集和网站侦察的工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 160 次浏览 • 2022-06-09 20:13 • 来自相关话题

　　URLextractor 一款信息收集和网站侦察的工具
　　

　　以下是此工具的一些功能：
　　IP和托管信息，如城市和国家（使用FreegeoIP）
　　DNS服务器（使用挖掘）
　　ASN，网络范围，ISP名称（使用RISwhois）
　　负载平衡器测试
　　滥用邮件的Whois（使用Spamcop）
　　PAC（代理自动配置）文件
　　将哈希值与差异代码进行比较
　　robots.txt（递归寻找隐藏的东西）
　　源代码（寻找密码和用户）
　　外部链接（来自其他网站的框架）
　　目录FUZZ（如Dirbuster和Wfuzz - 使用Dirbuster）目录列表）
　　URLvoidAPI - 检查Google页面排名，Alexa排名和可能的黑名单
　　在其他网站上提供有用的链接以与IP / ASN相关联
　　最后在浏览器中打开ALL结果的选项
　　用法
　　./extractor
　　要求：
　　使用brew测试Kali light mini和OSX 10.11.3
　　sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y 查看全部

　　URLextractor 一款信息收集和网站侦察的工具
　　

　　以下是此工具的一些功能：
　　IP和托管信息，如城市和国家（使用FreegeoIP）
　　DNS服务器（使用挖掘）
　　ASN，网络范围，ISP名称（使用RISwhois）
　　负载平衡器测试
　　滥用邮件的Whois（使用Spamcop）
　　PAC（代理自动配置）文件
　　将哈希值与差异代码进行比较
　　robots.txt（递归寻找隐藏的东西）
　　源代码（寻找密码和用户）
　　外部链接（来自其他网站的框架）
　　目录FUZZ（如Dirbuster和Wfuzz - 使用Dirbuster）目录列表）
　　URLvoidAPI - 检查Google页面排名，Alexa排名和可能的黑名单
　　在其他网站上提供有用的链接以与IP / ASN相关联
　　最后在浏览器中打开ALL结果的选项
　　用法
　　./extractor
　　要求：
　　使用brew测试Kali light mini和OSX 10.11.3
　　sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

腾讯搜索引擎优化接入服务的做法

采集交流 • 优采云 发表了文章 • 0 个评论 • 58 次浏览 • 2022-06-09 13:00 • 来自相关话题

　　腾讯搜索引擎优化接入服务的做法
　　网站采集工具，网站抓取的都是从腾讯指定的网站抓取的，因为他们不能直接控制，所以公司做了合作关系，网站如果被查了就可以找他们解决，另外抓取也有好处的，比如当你访问别的网站的时候，会自动跳转到你指定的网站里面去，
　　百度收录，只有一个理由，就是做了锚文本，比如输入“股市金银”四个字，是跳转到“股市金银百度打广告了。”再比如查找、设置搜索引擎自动推送给你的关键词，是抓取站长的原创新闻，也有可能你的长尾关键词有价值。另外还有一种方法就是，你自己抓取什么就是什么。
　　抓取原因是腾讯搜索引擎优化接入服务，与百度的做法不同，一般百度的做法是百度中心站点采集。
　　百度流量广告联盟的文章收录是我的，给搜索引擎看，反正我就是做这个的，网址有的没有给标星，有的有。或者说你写了多少段文字，都被收录了，
　　爬虫抓取和人工抓取的问题主要是百度搜索引擎优化
　　就是
　　长尾词抓取，
　　你可以尝试下，用robots.txt修改或者是百度搜索引擎优化接入服务。
　　还有一个作用就是你可以写一些你的长尾词，但其实质意义是重要，并不是特别重要的词。不会出现搜索引擎收录全部的一些词。 查看全部

　　腾讯搜索引擎优化接入服务的做法
　　网站采集工具，网站抓取的都是从腾讯指定的网站抓取的，因为他们不能直接控制，所以公司做了合作关系，网站如果被查了就可以找他们解决，另外抓取也有好处的，比如当你访问别的网站的时候，会自动跳转到你指定的网站里面去，
　　百度收录，只有一个理由，就是做了锚文本，比如输入“股市金银”四个字，是跳转到“股市金银百度打广告了。”再比如查找、设置搜索引擎自动推送给你的关键词，是抓取站长的原创新闻，也有可能你的长尾关键词有价值。另外还有一种方法就是，你自己抓取什么就是什么。
　　抓取原因是腾讯搜索引擎优化接入服务，与百度的做法不同，一般百度的做法是百度中心站点采集。
　　百度流量广告联盟的文章收录是我的，给搜索引擎看，反正我就是做这个的，网址有的没有给标星，有的有。或者说你写了多少段文字，都被收录了，
　　爬虫抓取和人工抓取的问题主要是百度搜索引擎优化
　　就是
　　长尾词抓取，
　　你可以尝试下，用robots.txt修改或者是百度搜索引擎优化接入服务。
　　还有一个作用就是你可以写一些你的长尾词，但其实质意义是重要，并不是特别重要的词。不会出现搜索引擎收录全部的一些词。

综合信息收集工具 -- SearchMap

采集交流 • 优采云 发表了文章 • 0 个评论 • 146 次浏览 • 2022-06-09 04:20 • 来自相关话题

　　综合信息收集工具 -- SearchMap
　　‘
　　一、工具介绍
　　searchmap是一款集域名解析、IP反查域名、WHOIS查询、CDN检测、端口扫描、目录扫描、子域名挖掘为一体的前渗透测试综合信息收集工具。
　　二、安装说明
　　1.工具使用python3开发，请确保您的电脑上已经安装了python3环境。
　　2.工具的端口扫描功能调用了nmap接口，请确保您的电脑已安装nmap。
　　3.首次使用请使用 python3 -m pip install -r requirements.txt 命令，来安装必要的外部依赖包。
　　4.本机未安装pip工具的请使用如下命令来进行安装：
　　$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本$ sudo python get-pip.py # 运行安装脚本。注意：用哪个版本的 Python 运行安装脚本，pip 就被关联到哪个版本，如果是 Python3 则执行以下命令：$ sudo python3 get-pip.py # 运行安装脚本。一般情况 pip 对应的是 Python 2.7，pip3 对应的是 Python 3.x。部分 Linux 发行版可直接用包管理器安装 pip，如 Debian 和 Ubuntu：sudo apt-get install python-pip
　　三、使用方法
　　1.-u 获取网站基本信息
　　$ python3 searchmap.py -u https://www.baidu.co$ python3 searchmap.py -u 106.53.143.192

　　2.-p 使用nmap进行隐式端口扫描
　　$ python3 searchmap.py -u https://www.baidu.com -p

　　3.-r 批量扫描网站基本信息
　　$ python3 searchmap.py -r myurl.txt

　　4.-n 使用多地ping来判断目标是否使用cdn加速
　　$ python3 searchmap.py -u  https://www.baidu.com -n
　　
　　5.-d 对网站目录进行多进程扫描探测，能够自动识别伪响应页面
　　PS:程序使用的默认字典为dict/fuzz.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -d

　　6.-s 对输入域名的进行子域名爆破
　　PS:程序使用的默认字典为dict/subdomain.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -s
　　
　　7.-a 对目标域名进行全功能扫描
　　$ python3 searchmap.py -u https://www.baidu.com -a
　　8.-o 将扫描内容保存为日志
　　$ python3 searchmap.py -u https://www.baidu.com -o myscan.log
　　9.组合用法
　　$ python3 searchmap.py -u https://www.baidu.com -p -n -d -s$ python3 searchmap.py -r myurl.txt -p -n -d -s
　　四、下载地址
　　1、通过项目地址下载 查看全部

　　综合信息收集工具 -- SearchMap
　　‘
　　一、工具介绍
　　searchmap是一款集域名解析、IP反查域名、WHOIS查询、CDN检测、端口扫描、目录扫描、子域名挖掘为一体的前渗透测试综合信息收集工具。
　　二、安装说明
　　1.工具使用python3开发，请确保您的电脑上已经安装了python3环境。
　　2.工具的端口扫描功能调用了nmap接口，请确保您的电脑已安装nmap。
　　3.首次使用请使用 python3 -m pip install -r requirements.txt 命令，来安装必要的外部依赖包。
　　4.本机未安装pip工具的请使用如下命令来进行安装：
　　$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本$ sudo python get-pip.py # 运行安装脚本。注意：用哪个版本的 Python 运行安装脚本，pip 就被关联到哪个版本，如果是 Python3 则执行以下命令：$ sudo python3 get-pip.py # 运行安装脚本。一般情况 pip 对应的是 Python 2.7，pip3 对应的是 Python 3.x。部分 Linux 发行版可直接用包管理器安装 pip，如 Debian 和 Ubuntu：sudo apt-get install python-pip
　　三、使用方法
　　1.-u 获取网站基本信息
　　$ python3 searchmap.py -u https://www.baidu.co$ python3 searchmap.py -u 106.53.143.192

　　2.-p 使用nmap进行隐式端口扫描
　　$ python3 searchmap.py -u https://www.baidu.com -p

　　3.-r 批量扫描网站基本信息
　　$ python3 searchmap.py -r myurl.txt

　　4.-n 使用多地ping来判断目标是否使用cdn加速
　　$ python3 searchmap.py -u  https://www.baidu.com -n
　　
　　5.-d 对网站目录进行多进程扫描探测，能够自动识别伪响应页面
　　PS:程序使用的默认字典为dict/fuzz.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -d

　　6.-s 对输入域名的进行子域名爆破
　　PS:程序使用的默认字典为dict/subdomain.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -s
　　
　　7.-a 对目标域名进行全功能扫描
　　$ python3 searchmap.py -u https://www.baidu.com -a
　　8.-o 将扫描内容保存为日志
　　$ python3 searchmap.py -u https://www.baidu.com -o myscan.log
　　9.组合用法
　　$ python3 searchmap.py -u https://www.baidu.com -p -n -d -s$ python3 searchmap.py -r myurl.txt -p -n -d -s
　　四、下载地址
　　1、通过项目地址下载

红蓝攻防演练资产收集小工具|附地址

采集交流 • 优采云 发表了文章 • 0 个评论 • 88 次浏览 • 2022-06-09 00:46 • 来自相关话题

　　红蓝攻防演练资产收集小工具|附地址
　　红蓝攻防演练资产收集小工具，对攻防前的信息搜集到的大批量资产/域名进行存活检测、获取标题头、语料提取、常见web端口检测、简单中间识别，去重等，便于筛选有价值资产。
　　1.高速资产存活检测，获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />2.常见Web端口访问测试/获取标题 lxml方式速度较快<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />3.资产去重<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />4.随机UA<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />5.C段web端口探测/获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />6.C段识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />7.shiro识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />8.简单中间件识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />适用用于外网资产梳理<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><p style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">TODO:
　　<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />1.在不发送更多请求的情况下模糊识别weblogic/jboss/jenkins/zabbix/activeMQ/solr/gitlab/spring等<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　2.常见端口测试(22/445/3389/3306/6379/1521)
　　<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /></p>
　　项目地址：
　　如侵权请私聊公众号删文
　　
　　好文推荐
　　
　　欢迎关注 系统安全运维
　　五年甲方安全经验，每日坚持学习与分享，麻烦各位师傅文章底部给点个“再看”，感激不尽
　　 查看全部

　　红蓝攻防演练资产收集小工具|附地址
　　红蓝攻防演练资产收集小工具，对攻防前的信息搜集到的大批量资产/域名进行存活检测、获取标题头、语料提取、常见web端口检测、简单中间识别，去重等，便于筛选有价值资产。
　　1.高速资产存活检测，获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />2.常见Web端口访问测试/获取标题 lxml方式速度较快<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />3.资产去重<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />4.随机UA<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />5.C段web端口探测/获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />6.C段识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />7.shiro识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />8.简单中间件识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />适用用于外网资产梳理<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><p style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">TODO:
　　<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />1.在不发送更多请求的情况下模糊识别weblogic/jboss/jenkins/zabbix/activeMQ/solr/gitlab/spring等<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　2.常见端口测试(22/445/3389/3306/6379/1521)
　　<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /></p>
　　项目地址：
　　如侵权请私聊公众号删文
　　
　　好文推荐
　　
　　欢迎关注 系统安全运维
　　五年甲方安全经验，每日坚持学习与分享，麻烦各位师傅文章底部给点个“再看”，感激不尽
　　

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-06-08 06:09 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

红队信息搜集工具（附下载地址）

采集交流 • 优采云 发表了文章 • 0 个评论 • 53 次浏览 • 2022-06-08 04:19 • 来自相关话题

　　红队信息搜集工具（附下载地址）
　　ratel(獾) 是一个由rust开发的信息搜集工具，专注web资产发现，支持从fofa，zoomeye API查询，提供详细的配置参数，可靠，可以从错误中恢复查询，自动去重。
　　同时也支持主动扫描端口，探测http，提取https证书中域名。
　　ratel 提供细粒度的http poc探测模块，支持多请求的poc，利用自定义正则表达式提取响应内容并作为后续请求的变量。ratel输出格式为csv。 查看全部

　　红队信息搜集工具（附下载地址）
　　ratel(獾) 是一个由rust开发的信息搜集工具，专注web资产发现，支持从fofa，zoomeye API查询，提供详细的配置参数，可靠，可以从错误中恢复查询，自动去重。
　　同时也支持主动扫描端口，探测http，提取https证书中域名。
　　ratel 提供细粒度的http poc探测模块，支持多请求的poc，利用自定义正则表达式提取响应内容并作为后续请求的变量。ratel输出格式为csv。

Webpack-信息收集工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-06-08 03:54 • 来自相关话题

　　Webpack-信息收集工具
　　团队：横戈安全团队，未来一段时间将陆续开源工具.。
　　定位：协助红队人员快速的信息收集，测绘目标资产，寻找薄弱点。
　　语言：python3开发
　　功能：一条龙服务，只需要输入根域名即可一键化收集敏感信息。具体案例见下文。
　　0x02 安装
　　为了避免踩坑,建议安装在如下环境中
　　chmod 777 build.sh./build.sh
　　
　　python3 webpackfind.py -h

　　0x03 效果展示
　　自动爬虫

　　自动爬取本地文件

　　0x04 使用说明语法功能
　　python3 webpackfind.py -u
　　采集域名中的webpack
　　python3 webpackfind.py -j ./js
　　本地读取js信息收集
　　0x05项目获取 查看全部

　　Webpack-信息收集工具
　　团队：横戈安全团队，未来一段时间将陆续开源工具.。
　　定位：协助红队人员快速的信息收集，测绘目标资产，寻找薄弱点。
　　语言：python3开发
　　功能：一条龙服务，只需要输入根域名即可一键化收集敏感信息。具体案例见下文。
　　0x02 安装
　　为了避免踩坑,建议安装在如下环境中
　　chmod 777 build.sh./build.sh
　　
　　python3 webpackfind.py -h

　　0x03 效果展示
　　自动爬虫

　　自动爬取本地文件

　　0x04 使用说明语法功能
　　python3 webpackfind.py -u
　　采集域名中的webpack
　　python3 webpackfind.py -j ./js
　　本地读取js信息收集
　　0x05项目获取

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-04 06:47 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-06-21 05:49 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

python爬虫基础之简易网页搜集器

采集交流 • 优采云 发表了文章 • 0 个评论 • 108 次浏览 • 2022-06-21 05:45 • 来自相关话题

　　python爬虫基础之简易网页搜集器
　　
　　简易网页搜集器前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　简易网页搜集器
　　前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　不知道在学会了爬取之后，你有没有跟我一样试着去爬取一些搜索页面，比如说百度。像这样的页面
　　
　　注意我红笔划的部分，这是我打开的网页。现在我希望能爬取这一页的数据，按我们前面学的代码，应该是这样写的：
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 发送请求
　　response = requests.get(url)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼.html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　然而打开我们保存的文件，发现结果跟我们想的不太一样
　　
　　我们发现我们保存的文件是一个空白的页面，这是为什么呢？
　　其实上我们把网址改成搜狗的可能或更直观一些（不知道为什么我这边的搜狗总是打不开，所以就用百度做例子，可以自己写写有关搜狗搜索的代码），同样的代码改成搜狗的网址结果是这样的
　　我们发现其中有句话是 “ 网络中存在异常访问 ”，那么这句话是什么意思呢？
　　这句话的意思就是说，搜狗或是百度注意到发送请求的是爬虫程序，而不是人工操作。
　　那么这其中的原理又是什么呢？
　　简单来说，就是程序访问和我们使用浏览器访问是有区别的，被请求的服务器都是靠 user-agent 来判断访问者的身份，如果是浏览器就接受请求，否则就拒绝。这就是一个很常见的反爬机制。
　　那是不是我们就没有办法呢？
　　非也~所谓魔高一尺，道高一丈。既然要识别 user-agent ，那么我们就让爬虫模拟 user-agent 好了。
　　在python中模拟输入数据或是 user-agent ，我们一般用字典
　　就这样子写：
　　<p>header = {
　　"user-agent": "" # user-agent 的值 是一个长字符串
　　}</p>
　　那么 user-agent 的值又是怎么得到的呢？
　　1. 打开任意网页，右键点击，选择“检查”
　　
　　2. 选择“ Network ”（谷歌浏览器）（如果是中文，就选择 “网络” 这一项）
　　
　　3. 如果发现点开是空白的，像这样，那就刷新网页
　　
　　刷新后是这样的：
　　然后随机选择红笔圈起来的一项，我们会看到这样的东西，然后在里面找到“user-agent”，把它的值复制下来就行了
　　
　　有了 “user-agent”， 我们在重新写我们的爬取网页的代码，就可以了
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 模拟 “user-agent”，即 UA伪装
　　header = {
　　"user-agent" : "" # 复制的 user-agent 的值
　　}
　　# 发送请求
　　response = requests.get(url, headers = header)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼(UA伪装).html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　再次运行，然后打开文件
　　
　　这次成功了，说明我们的爬虫程序完美地骗过了服务器
　　到此这篇关于python爬虫基础之简易网页搜集器的文章就介绍到这了
　　
　　搜索下方加老师微信 查看全部

　　python爬虫基础之简易网页搜集器
　　
　　简易网页搜集器前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　简易网页搜集器
　　前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单，再不济，我们都希望可以爬取某个特定的有信息的页面。
　　不知道在学会了爬取之后，你有没有跟我一样试着去爬取一些搜索页面，比如说百度。像这样的页面
　　
　　注意我红笔划的部分，这是我打开的网页。现在我希望能爬取这一页的数据，按我们前面学的代码，应该是这样写的：
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 发送请求
　　response = requests.get(url)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼.html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　然而打开我们保存的文件，发现结果跟我们想的不太一样
　　
　　我们发现我们保存的文件是一个空白的页面，这是为什么呢？
　　其实上我们把网址改成搜狗的可能或更直观一些（不知道为什么我这边的搜狗总是打不开，所以就用百度做例子，可以自己写写有关搜狗搜索的代码），同样的代码改成搜狗的网址结果是这样的
　　我们发现其中有句话是 “ 网络中存在异常访问 ”，那么这句话是什么意思呢？
　　这句话的意思就是说，搜狗或是百度注意到发送请求的是爬虫程序，而不是人工操作。
　　那么这其中的原理又是什么呢？
　　简单来说，就是程序访问和我们使用浏览器访问是有区别的，被请求的服务器都是靠 user-agent 来判断访问者的身份，如果是浏览器就接受请求，否则就拒绝。这就是一个很常见的反爬机制。
　　那是不是我们就没有办法呢？
　　非也~所谓魔高一尺，道高一丈。既然要识别 user-agent ，那么我们就让爬虫模拟 user-agent 好了。
　　在python中模拟输入数据或是 user-agent ，我们一般用字典
　　就这样子写：
　　<p>header = {
　　"user-agent": "" # user-agent 的值 是一个长字符串
　　}</p>
　　那么 user-agent 的值又是怎么得到的呢？
　　1. 打开任意网页，右键点击，选择“检查”
　　
　　2. 选择“ Network ”（谷歌浏览器）（如果是中文，就选择 “网络” 这一项）
　　
　　3. 如果发现点开是空白的，像这样，那就刷新网页
　　
　　刷新后是这样的：
　　然后随机选择红笔圈起来的一项，我们会看到这样的东西，然后在里面找到“user-agent”，把它的值复制下来就行了
　　
　　有了 “user-agent”， 我们在重新写我们的爬取网页的代码，就可以了
　　<p>import requests
　　 
　　if __name__ == "__main__":
　　# 指定URL
　　url = "https://www.baidu.com/s%3Fie%3 ... ot%3B
　　 
　　# 模拟 “user-agent”，即 UA伪装
　　header = {
　　"user-agent" : "" # 复制的 user-agent 的值
　　}
　　# 发送请求
　　response = requests.get(url, headers = header)
　　 
　　# 获取数据
　　page_text = response.text
　　 
　　# 存储
　　with open("./奥特曼(UA伪装).html", "w", encoding = "utf-8") as fp:
　　fp.write(page_text)
　　 
　　print("爬取成功！！！")</p>
　　再次运行，然后打开文件
　　
　　这次成功了，说明我们的爬虫程序完美地骗过了服务器
　　到此这篇关于python爬虫基础之简易网页搜集器的文章就介绍到这了
　　
　　搜索下方加老师微信

信息收集工具 -- weblive

采集交流 • 优采云 发表了文章 • 0 个评论 • 57 次浏览 • 2022-06-19 19:41 • 来自相关话题

　　信息收集工具 -- weblive
　　嘴硬到底是什么概念，大概就是，你问我是怎么想的，其实我眼泪都要掉下来了，但我还是说了句，算了，就这样吧。。
　　---- 网易云热评
　　环境：Kali202003
　　一、GO环境配置
　　1、下载地址
　　2、解压并配置相关环境
　　打开/etc/profile,添加环境变量export PATH=$PATH:/usr/local/go/bin
　　
　　3、使环境变量立即生效，并查看版本信息
　　
　　二、weblive使用方法
　　1、简介
　　webinfo 是一个高并发网站信息获取工具，可用于获取到目标相关子域名大量资产后，进行存活扫描，获取域名解析的ip，识别cdn，轻量级识别指纹、获取标题
　　webinfo使用go语言编写，发挥golang协程优势，快速扫描获取网站信息，多平台通用
　　2、下载地址：
　　3、下载到本地：git clone
　　4、进入该目录运行gobuild
　　cd weblive
　　go build weblive.go
　　5、加入目标地址
　　将需要扫描的域名保存到url.txt文件中，执行webinfo
　　6、 结果会放到result文件夹中，网站信息保存为Excel表格，不存在cdn的真实ip保存到ip.txt文件中
　　百度一下，你就知道
　　200
　　182.61.200.7,182.61.200.6
　　false
　　jQuery
　　The world’s leading software development platform · GitHub
　　200
　　13.250.177.223
　　false
　　Ruby on Rails,GitHub Pages,Bootstrap
　　首页 - Go语言中文网 - Golang中文社区
　　200
　　59.110.219.94
　　false
　　jQuery,Bootstrap,Google AdSense,Marked,Gravatar,Nginx,Font Awesome
　　禁止非法，后果自负 查看全部

　　信息收集工具 -- weblive
　　嘴硬到底是什么概念，大概就是，你问我是怎么想的，其实我眼泪都要掉下来了，但我还是说了句，算了，就这样吧。。
　　---- 网易云热评
　　环境：Kali202003
　　一、GO环境配置
　　1、下载地址
　　2、解压并配置相关环境
　　打开/etc/profile,添加环境变量export PATH=$PATH:/usr/local/go/bin
　　
　　3、使环境变量立即生效，并查看版本信息
　　
　　二、weblive使用方法
　　1、简介
　　webinfo 是一个高并发网站信息获取工具，可用于获取到目标相关子域名大量资产后，进行存活扫描，获取域名解析的ip，识别cdn，轻量级识别指纹、获取标题
　　webinfo使用go语言编写，发挥golang协程优势，快速扫描获取网站信息，多平台通用
　　2、下载地址：
　　3、下载到本地：git clone
　　4、进入该目录运行gobuild
　　cd weblive
　　go build weblive.go
　　5、加入目标地址
　　将需要扫描的域名保存到url.txt文件中，执行webinfo
　　6、 结果会放到result文件夹中，网站信息保存为Excel表格，不存在cdn的真实ip保存到ip.txt文件中
　　百度一下，你就知道
　　200
　　182.61.200.7,182.61.200.6
　　false
　　jQuery
　　The world’s leading software development platform · GitHub
　　200
　　13.250.177.223
　　false
　　Ruby on Rails,GitHub Pages,Bootstrap
　　首页 - Go语言中文网 - Golang中文社区
　　200
　　59.110.219.94
　　false
　　jQuery,Bootstrap,Google AdSense,Marked,Gravatar,Nginx,Font Awesome
　　禁止非法，后果自负

【新手入门】优采云采集器简介

采集交流 • 优采云 发表了文章 • 0 个评论 • 111 次浏览 • 2022-06-19 19:27 • 来自相关话题

　　【新手入门】优采云采集器简介
　　既然阁下找到了这篇文章，想必一定是非常有品位，非常有追求。普通的采集软件肯定无法满足你对美好生活的向往，也无法助你走向人生巅峰。你选择我们就对了！！！
　　
　　本文主要给大家简单介绍一下我们这款采集器软件。优点太多，请慢慢看，不要捉急哟 。
　　
　　优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件。
　　该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。
　　
　　优采云采集器不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。
　　通过使用优采云采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。
　　
　　优采云采集器具有行业领先的技术优势，可以同时支持Windows、Mac和Linux全操作系统的采集器。
　　
　　针对不同基础的用户，它支持两种不同的采集模式，可以采集99%的网页。
　　1、智能采集模式：
　　
　　该模式操作极其简单，只需要输入网址就能智能识别网页中的内容，无需配置任何采集规则就能够完成数据的采集。
　　
　　2、流程图采集模式：
　　
　　完全符合人工浏览网页的思维方式，用户只需要打开被采集的网站，根据软件给出的提示，用鼠标点击几下就能自动生成复杂的数据采集规则；
　　
　　这么好用的一款产品，它居然还是免费的！费的！的！
　　
　　怎么个免费法？请看这篇文章→_→ 优采云采集器是不是免费的？
　　 查看全部

　　【新手入门】优采云采集器简介
　　既然阁下找到了这篇文章，想必一定是非常有品位，非常有追求。普通的采集软件肯定无法满足你对美好生活的向往，也无法助你走向人生巅峰。你选择我们就对了！！！
　　
　　本文主要给大家简单介绍一下我们这款采集器软件。优点太多，请慢慢看，不要捉急哟 。
　　
　　优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件。
　　该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。
　　
　　优采云采集器不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。
　　通过使用优采云采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。
　　
　　优采云采集器具有行业领先的技术优势，可以同时支持Windows、Mac和Linux全操作系统的采集器。
　　
　　针对不同基础的用户，它支持两种不同的采集模式，可以采集99%的网页。
　　1、智能采集模式：
　　
　　该模式操作极其简单，只需要输入网址就能智能识别网页中的内容，无需配置任何采集规则就能够完成数据的采集。
　　
　　2、流程图采集模式：
　　
　　完全符合人工浏览网页的思维方式，用户只需要打开被采集的网站，根据软件给出的提示，用鼠标点击几下就能自动生成复杂的数据采集规则；
　　
　　这么好用的一款产品，它居然还是免费的！费的！的！
　　
　　怎么个免费法？请看这篇文章→_→ 优采云采集器是不是免费的？
　　

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 86 次浏览 • 2022-06-17 10:30 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

网站采集工具被应用到运营策略中的六种不同类型

采集交流 • 优采云 发表了文章 • 0 个评论 • 96 次浏览 • 2022-06-15 07:01 • 来自相关话题

　　网站采集工具被应用到运营策略中的六种不同类型
　　网站采集工具在这个互联网信息飞速发展的时代被广泛使用，好处是节省人力物力，还能快速获取用户行为数据，优化内容运营，那么它是怎么被应用到运营策略中的呢？所谓网站采集工具就是大量的爬虫在互联网上各种信息堆积，然后自动处理，从中提取重复的信息，然后存在数据库里，像google、百度搜索引擎、浏览器等都会预先准备好数据，就像存的资料库一样，每次你在浏览的时候，只需要输入相关关键词就可以搜索到你要的信息，而且只要定期更新就行，从而达到网站的流量裂变，提高网站使用率等。
　　网站采集工具的广泛运用在一定程度上降低了运营人员的工作量和繁琐程度，让更多的运营人员从繁杂的事务中解放出来，专注于产品和运营上，我在使用过程中发现了六种不同类型的工具，你要用的话一定要看一下。
　　一、快速广告传播平台facebook、twitter、youtube、谷歌等网站采集工具1.大家是不是还在苦于对接谷歌等平台推广运营自己的facebook账号?2.有的是在等待谷歌等平台下单，不想用人工来操作等等，如果你发现了高效快速的平台，那么恭喜你，facebook、twitter、tumblr等这些是你的首选，这些快速谷歌与facebook采集工具简单方便，分分钟采集，所有行业行业，要是你想短时间就获取大量facebook，twitter数据，在平台采集上一定要使用谷歌搜索引擎。
　　3.不用担心人工操作，即使你还没有产品运营，只要是做广告平台，thinkagain,再不用采集facebook，twitter数据，这些快速工具网站采集数据，只要你输入关键词，即可进行采集，而且有上万条结果，不用自己看，只要你可以帮助到运营人员就好。4.还有就是对于tumblr，facebook搜索引擎等的上万条信息，如果你想多产品，多关键词的获取，那么比如你想采集tumblr上多于两万条信息，你需要购买这些平台的数据，购买价格不菲，那么这时候你要想想其他高效的网站采集工具，如百度采集工具，网易采集工具等等。
　　二、文本采集工具关键词采集平台：360大数据、爱站采集平台、排名采集工具、快传采集工具等平台信息采集工具：google爬虫，淘宝爬虫，百度爬虫，快慢头条爬虫，百度采集器，全网统计，平台采集，
　　三、音频采集平台关键词采集平台：易词采集平台、站长工具、翻译网站、翻译工具、快告诉采集平台等平台信息采集工具：好啊采集平台，
　　四、视频采集平台：ted演讲、开讲啦网、腾讯公开课等平台信息采集工具：优酷、搜狐、等等。
　　五、图片采集平台：爱采图、天府在线等工具信息采集工具：51图片，
　　六、数据库采集平台：百度百科， 查看全部

　　网站采集工具被应用到运营策略中的六种不同类型
　　网站采集工具在这个互联网信息飞速发展的时代被广泛使用，好处是节省人力物力，还能快速获取用户行为数据，优化内容运营，那么它是怎么被应用到运营策略中的呢？所谓网站采集工具就是大量的爬虫在互联网上各种信息堆积，然后自动处理，从中提取重复的信息，然后存在数据库里，像google、百度搜索引擎、浏览器等都会预先准备好数据，就像存的资料库一样，每次你在浏览的时候，只需要输入相关关键词就可以搜索到你要的信息，而且只要定期更新就行，从而达到网站的流量裂变，提高网站使用率等。
　　网站采集工具的广泛运用在一定程度上降低了运营人员的工作量和繁琐程度，让更多的运营人员从繁杂的事务中解放出来，专注于产品和运营上，我在使用过程中发现了六种不同类型的工具，你要用的话一定要看一下。
　　一、快速广告传播平台facebook、twitter、youtube、谷歌等网站采集工具1.大家是不是还在苦于对接谷歌等平台推广运营自己的facebook账号?2.有的是在等待谷歌等平台下单，不想用人工来操作等等，如果你发现了高效快速的平台，那么恭喜你，facebook、twitter、tumblr等这些是你的首选，这些快速谷歌与facebook采集工具简单方便，分分钟采集，所有行业行业，要是你想短时间就获取大量facebook，twitter数据，在平台采集上一定要使用谷歌搜索引擎。
　　3.不用担心人工操作，即使你还没有产品运营，只要是做广告平台，thinkagain,再不用采集facebook，twitter数据，这些快速工具网站采集数据，只要你输入关键词，即可进行采集，而且有上万条结果，不用自己看，只要你可以帮助到运营人员就好。4.还有就是对于tumblr，facebook搜索引擎等的上万条信息，如果你想多产品，多关键词的获取，那么比如你想采集tumblr上多于两万条信息，你需要购买这些平台的数据，购买价格不菲，那么这时候你要想想其他高效的网站采集工具，如百度采集工具，网易采集工具等等。
　　二、文本采集工具关键词采集平台：360大数据、爱站采集平台、排名采集工具、快传采集工具等平台信息采集工具：google爬虫，淘宝爬虫，百度爬虫，快慢头条爬虫，百度采集器，全网统计，平台采集，
　　三、音频采集平台关键词采集平台：易词采集平台、站长工具、翻译网站、翻译工具、快告诉采集平台等平台信息采集工具：好啊采集平台，
　　四、视频采集平台：ted演讲、开讲啦网、腾讯公开课等平台信息采集工具：优酷、搜狐、等等。
　　五、图片采集平台：爱采图、天府在线等工具信息采集工具：51图片，
　　六、数据库采集平台：百度百科，

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 94 次浏览 • 2022-06-14 23:52 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

子域名资产收集工具分享

采集交流 • 优采云 发表了文章 • 0 个评论 • 54 次浏览 • 2022-06-12 04:40 • 来自相关话题

　　子域名资产收集工具分享
　　资产收集是渗透工作中一项重要的工作，有时候某个资产可能会给我们带来惊喜。以下就是本人常用的几个子域名收集工具，现分享出来给大家参考参考。
　　在线域名收集
　　1.LCY师傅分享的一个在线子域名收集工具：
　　这个网站速度还比较快，但是貌似自身的字典不算太强，具体各位看官可以使用体验一下。
　　2.证书在线查询网站：
　　这个相对子域名收集来说，效果不会太理想，但也能补充一些子域名，曾经就通过这个找到一些某src的未授权运维平台，碰碰运气还是可以的。3.查询网：这个是用的比较多的一个收集子域名方式，速度也是比较快的。4.Google Hacking
　　这个就是我们经常讲的，利用搜索引擎进行一个子域名收集。
　　5.FOFA&Shodan&quake
　　这几个都是类似的平台，都是网络空间测绘平台，也可以用于子域名收集。
　　子域名收集工具&平台1.lijiejie的子域名收集工具：
　　并发非常高，所以占用的带宽也会相对高一些，在同一网络环境下，使用这个工具的时候容易导致其他终端无法联网。
　　2.ring04h的子域名收集工具：3.aboul3la的子域名收集工具：
　　这些都是脚本形式执行子域名收集的，这类的收集工具，好处是可以自己添加字典进行收集，收集的速率也挺快，但目前本人也只是用过subDomainsBrute这个脚本，其余的两个各位看官可自行试用测试一下。
　　4.Layer子域名挖掘机
　　这款工具年代久远了，几年前就开始用这款工具进行收集了，至于效果也还行，下载地址就不放了，大家可以自行百度搜索一下。
　　5.ARL资产侦察灯塔系统：
　　这款是用的比较多的平台，也是近两年热度比较的一款开源资产收集平台，不单可以收集资产还可以初步对收集到的资产进行目录扫描等一些简单的扫描，可发现一些风险，还是比较实用的一个平台。
　　以上就是Leat想要跟大家分享的一些子域名收集方式，如有错误欢迎指正。当然，这里不会是全部的收集姿势，相信各位看官会有自己的一套收集方式，也非常欢迎大家在评论区分享自己的觉得比较好的方式，方式无好坏、高低之分，只要用的好、用的习惯都能成为大家的一把利器，主要还是要有自己的一套方法论。
　　声明：本文作为个人学习记录使用，请勿用于非法行为，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，本公众号与文章作者不为此承担任何责任。 查看全部

　　子域名资产收集工具分享
　　资产收集是渗透工作中一项重要的工作，有时候某个资产可能会给我们带来惊喜。以下就是本人常用的几个子域名收集工具，现分享出来给大家参考参考。
　　在线域名收集
　　1.LCY师傅分享的一个在线子域名收集工具：
　　这个网站速度还比较快，但是貌似自身的字典不算太强，具体各位看官可以使用体验一下。
　　2.证书在线查询网站：
　　这个相对子域名收集来说，效果不会太理想，但也能补充一些子域名，曾经就通过这个找到一些某src的未授权运维平台，碰碰运气还是可以的。3.查询网：这个是用的比较多的一个收集子域名方式，速度也是比较快的。4.Google Hacking
　　这个就是我们经常讲的，利用搜索引擎进行一个子域名收集。
　　5.FOFA&Shodan&quake
　　这几个都是类似的平台，都是网络空间测绘平台，也可以用于子域名收集。
　　子域名收集工具&平台1.lijiejie的子域名收集工具：
　　并发非常高，所以占用的带宽也会相对高一些，在同一网络环境下，使用这个工具的时候容易导致其他终端无法联网。
　　2.ring04h的子域名收集工具：3.aboul3la的子域名收集工具：
　　这些都是脚本形式执行子域名收集的，这类的收集工具，好处是可以自己添加字典进行收集，收集的速率也挺快，但目前本人也只是用过subDomainsBrute这个脚本，其余的两个各位看官可自行试用测试一下。
　　4.Layer子域名挖掘机
　　这款工具年代久远了，几年前就开始用这款工具进行收集了，至于效果也还行，下载地址就不放了，大家可以自行百度搜索一下。
　　5.ARL资产侦察灯塔系统：
　　这款是用的比较多的平台，也是近两年热度比较的一款开源资产收集平台，不单可以收集资产还可以初步对收集到的资产进行目录扫描等一些简单的扫描，可发现一些风险，还是比较实用的一个平台。
　　以上就是Leat想要跟大家分享的一些子域名收集方式，如有错误欢迎指正。当然，这里不会是全部的收集姿势，相信各位看官会有自己的一套收集方式，也非常欢迎大家在评论区分享自己的觉得比较好的方式，方式无好坏、高低之分，只要用的好、用的习惯都能成为大家的一把利器，主要还是要有自己的一套方法论。
　　声明：本文作为个人学习记录使用，请勿用于非法行为，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，本公众号与文章作者不为此承担任何责任。

子域名搜集工具整理

采集交流 • 优采云 发表了文章 • 0 个评论 • 69 次浏览 • 2022-06-12 04:33 • 来自相关话题

　　子域名搜集工具整理
　　
　　目录
　　- 介绍- Sublist3r2- Subfinder- Amass- OneforAll- 暴力破解- 总结- 尾
　　介绍
　　马上9月份了，见很多SRC都有提交漏洞兑换月饼的活动，就想着趁月底几天去挖一挖，之前虚拟机还原了，所以存的一些搜集子域名的工具都没了，这里我在Github上又重新找了几个星数比较多的，都尝试一下，也欢迎大家有好的工具或者方法进行留言分享。
　　Sublist3r2
　　根据介绍，该工具主要是利用情报来搜集子域名，这个工具使用的时候会报一些错误，有人更新了sublist3r2，这里就测试下sublist3r2的效果。
　　sublist3r2支持子域名暴破，自带了一个十几万的字典，这里不测试暴破，暴破的话可以最后把所有字典整合一下，然后找个高并发的工具去跑。
　　sublist3r2测试：这个工具在搜集期间，有用到virustotal，会让输入key，key可以登录后在主页获取。
　　刚开始是在kali中安装的，运行时中间会报一段异常，但不影响结果的输出，异常提示的是googleenum，是因为无法访问谷歌造成的。
　　
　　测试过程中，如果不访问谷歌，域名数量是103个，这里换成云服务器再次尝试，域名找到数量是276个，谷歌的信息搜集影响的结果偏差还是挺大的。

　　Sublist3r2使用总结：建议加上virustotal的key，机器可以访问谷歌。不暴破的情况下，用d参数指定域名即可：
　　python sublist3r2.py -d xxx.com
　　暴破的情况下，需要加上b参数，默认线程是7000，可以通过t指定：
　　python sublist3r2.py -d xxx.com -b -t 5000
　　Subfinder
　　subfinder用go写的，所以跨平台支持很好，像windows直接一个exe文件就可以，初步印象给人感觉用起来就很舒服，工具核心是被动搜集域名，主要通过一些网站做信息搜集，所以各个网站的apikey必须有，这种加key和不加key，是两种结果。
　　它都是从哪些平台搜集信息，可以在github上的readme查看，或者使用ls参数查询，注册这些平台，登录获取key添加到配置文件中就行（能填的填一下，有些注册有门槛）。
　　
　　这里还是测试的同样的域名，找到了2154个，这个结果有点震惊其实，因为之前搜集域名基本没有这样去注册一些平台key，之前用oneforall也需要加key，懒得去搞。
　　这个结果大概看了下，有很多多级域名，也有很多子域名并不常见，暴破的话总会有疏漏，这种多平台的搜集反而可以弥补下暴破的短板。但也会存在一些问题，比如这些域名都是通过被动搜集来的，没有经过验证，不确定是否可访问。
　　这里针对subfinder的域名结果进行了url存活检测（github搜索url存活找一些脚本就行），2154大概能检测出来600个左右。
　　Amass
　　这个工具首先看是由owasp维护，相对其它一些个人工具的话，维护方面更稳定，有新技术也会及时更新上，看介绍是用来发现资产暴漏面的，比如公司域名、子域名、IP等等，这里看下子域名搜集。
　　它也有配置文件，可以配置key进去，这里就先不配了，使用最基本的enum模块来搜集域名信息：
　　amass enum -d xxx.com
　　即使这样，它去搜集的信息源还是挺多的，同样域名搜集到了342个，相对很不错了，结果看起来的话，感觉质量也很高，配置key，估计结果更优。
　　为了更好的发掘下这个工具对子域名搜集的能力，这里决定配置下key重新尝试，首先查看amass enum所支持的数据源：
　　
　　不带星号的说明没法用，需要配置，这里把带星号的排去：
　　
　　上面列表中很多之前在subfinder都有，再挑几个比较熟悉的加一下就可以，例如hunter、ipinfo、whoisxmlapi这些，像其它脸书、推特什么的就不要了。
　　配置的时候，把相应选项注释去掉，添加key就可以：

　　使用config参数指定配置文件：
　　amass enum -d xxx.com -config config.ini -o xxx.com.txt
　　结果是1156，加key和不加key是两个工具，进行url检测的话，可以筛出来450个左右。
　　amass其它用法参考文章：
　　OneforAll
　　相同域名的话，oneforall全部默认配置，结果显示为524个，实际上默认的csv结果是包括存活和不存活的，即所有结果，对csv的active字段进行筛选，大概在350个，包括http和https，只算域名大概在180左右，配置文件中，默认有使用暴力破解，字典使用的是不到两千个的子域名，不过也提供了一个超大字典，这里先进行关闭：
　　
　　这里看了下oneforall的api key配置，使用上大体和subfinder、amass差不多，但也有几个区别，比如国内常用的fofa、站长之家有添加，像bing也有，但也有subfinder存在的，而oneforall没有的，所以这个东西，api key平台大体一样，只是个别平台上的区别。
　　把oneforall能填的key大体填填再测试，结果大概有500个左右。
　　这里域名如果是一些比较大型的公司，它可能子域名会多一点，而oneforall有一个enable_finder_module模块默认开启，意思是要从子域的js文件和响应体中再次发现子域名，这种情况很容易导致子域变得过多而且不够准确的情况，如果这种匹配结果过多，就会报错，issue有人提出了这个问题：
　　有人测试超过十万就报此错误，错误最开始提示的是Start Finder module，所以可以先把finder这个模块关掉，需求并不是很大，不关的话，是不会生成csv结果的。
　　还有个问题就是默认的一些google模块是无法访问的，可以在云服务器上运行，也可以给它设置代理，启用代理，使用代理的模块默认就可以：

　　这里测试代理是成功的，本机v2rayn会有日志记录，但实际oneforall运行时会有一些站点请求显红，报timeout，猜测可能超时原因，超时设置这里没看到具体的调整位置，介意的话完全可以放到云服务器运行。
　　暴力破解
　　暴破字典的话，倒没有必要去搜集整理，oneforall自带的那个超大字典挺全面的，有了字典拿支持暴破的工具暴破就可以，之前用的挖掘机会多点，后来发现也会存在一些问题，比如字典大了加载会卡死，或者暴破多级域名、导出结果过多的时候，都会有一段卡死的现象，后来就不用了。
　　暴破多线程很重要，多线程go支持就很好，但像subfinder主要针对的是信息搜集，没看到暴破相关的用法。但这块oneforall有提供，默认2000的线程，最大推荐不超过10000，还是挺不错的，暴破模块也进行了分离，所以很方便。
　　使用方法参考：
　　总结
　　1，主要是信息搜集和字典暴破，信息搜集主要是靠搜索引擎和平台，字典暴破主要靠字典。
　　2，sublist3r2的话涉及到的平台相对较少，可以不用。
　　3，subfinder、amass、oneforall涉及到的平台差不多，但有个别的区别，使用的时候可以结合去重。
　　4，subfinder国外平台会多点，oneforall国内的会多点，amass整体也不错，amass作为资产暴漏面搜集，也提供了其它一些实用的功能。
　　5，暴破的话可以把sublist3r2的字典和oneforall的字典整理整理，或者再搜集些其它字典加进去，然后用oneforall的brute进行暴破。
　　6，上面结果也有误差，一个是结果数验证存活包括了http和https，都是估算，再一个，可能站点在8080上或其它端口，另外，平台key也都不一样，所以不能说哪个好用哪个不好用，
　　尾
　　工具试着试着就31号了，还挖个der呀，下个月中秋看别人吃月饼。 查看全部

　　子域名搜集工具整理
　　
　　目录
　　- 介绍- Sublist3r2- Subfinder- Amass- OneforAll- 暴力破解- 总结- 尾
　　介绍
　　马上9月份了，见很多SRC都有提交漏洞兑换月饼的活动，就想着趁月底几天去挖一挖，之前虚拟机还原了，所以存的一些搜集子域名的工具都没了，这里我在Github上又重新找了几个星数比较多的，都尝试一下，也欢迎大家有好的工具或者方法进行留言分享。
　　Sublist3r2
　　根据介绍，该工具主要是利用情报来搜集子域名，这个工具使用的时候会报一些错误，有人更新了sublist3r2，这里就测试下sublist3r2的效果。
　　sublist3r2支持子域名暴破，自带了一个十几万的字典，这里不测试暴破，暴破的话可以最后把所有字典整合一下，然后找个高并发的工具去跑。
　　sublist3r2测试：这个工具在搜集期间，有用到virustotal，会让输入key，key可以登录后在主页获取。
　　刚开始是在kali中安装的，运行时中间会报一段异常，但不影响结果的输出，异常提示的是googleenum，是因为无法访问谷歌造成的。
　　
　　测试过程中，如果不访问谷歌，域名数量是103个，这里换成云服务器再次尝试，域名找到数量是276个，谷歌的信息搜集影响的结果偏差还是挺大的。

　　Sublist3r2使用总结：建议加上virustotal的key，机器可以访问谷歌。不暴破的情况下，用d参数指定域名即可：
　　python sublist3r2.py -d xxx.com
　　暴破的情况下，需要加上b参数，默认线程是7000，可以通过t指定：
　　python sublist3r2.py -d xxx.com -b -t 5000
　　Subfinder
　　subfinder用go写的，所以跨平台支持很好，像windows直接一个exe文件就可以，初步印象给人感觉用起来就很舒服，工具核心是被动搜集域名，主要通过一些网站做信息搜集，所以各个网站的apikey必须有，这种加key和不加key，是两种结果。
　　它都是从哪些平台搜集信息，可以在github上的readme查看，或者使用ls参数查询，注册这些平台，登录获取key添加到配置文件中就行（能填的填一下，有些注册有门槛）。
　　
　　这里还是测试的同样的域名，找到了2154个，这个结果有点震惊其实，因为之前搜集域名基本没有这样去注册一些平台key，之前用oneforall也需要加key，懒得去搞。
　　这个结果大概看了下，有很多多级域名，也有很多子域名并不常见，暴破的话总会有疏漏，这种多平台的搜集反而可以弥补下暴破的短板。但也会存在一些问题，比如这些域名都是通过被动搜集来的，没有经过验证，不确定是否可访问。
　　这里针对subfinder的域名结果进行了url存活检测（github搜索url存活找一些脚本就行），2154大概能检测出来600个左右。
　　Amass
　　这个工具首先看是由owasp维护，相对其它一些个人工具的话，维护方面更稳定，有新技术也会及时更新上，看介绍是用来发现资产暴漏面的，比如公司域名、子域名、IP等等，这里看下子域名搜集。
　　它也有配置文件，可以配置key进去，这里就先不配了，使用最基本的enum模块来搜集域名信息：
　　amass enum -d xxx.com
　　即使这样，它去搜集的信息源还是挺多的，同样域名搜集到了342个，相对很不错了，结果看起来的话，感觉质量也很高，配置key，估计结果更优。
　　为了更好的发掘下这个工具对子域名搜集的能力，这里决定配置下key重新尝试，首先查看amass enum所支持的数据源：
　　
　　不带星号的说明没法用，需要配置，这里把带星号的排去：
　　
　　上面列表中很多之前在subfinder都有，再挑几个比较熟悉的加一下就可以，例如hunter、ipinfo、whoisxmlapi这些，像其它脸书、推特什么的就不要了。
　　配置的时候，把相应选项注释去掉，添加key就可以：

　　使用config参数指定配置文件：
　　amass enum -d xxx.com -config config.ini -o xxx.com.txt
　　结果是1156，加key和不加key是两个工具，进行url检测的话，可以筛出来450个左右。
　　amass其它用法参考文章：
　　OneforAll
　　相同域名的话，oneforall全部默认配置，结果显示为524个，实际上默认的csv结果是包括存活和不存活的，即所有结果，对csv的active字段进行筛选，大概在350个，包括http和https，只算域名大概在180左右，配置文件中，默认有使用暴力破解，字典使用的是不到两千个的子域名，不过也提供了一个超大字典，这里先进行关闭：
　　
　　这里看了下oneforall的api key配置，使用上大体和subfinder、amass差不多，但也有几个区别，比如国内常用的fofa、站长之家有添加，像bing也有，但也有subfinder存在的，而oneforall没有的，所以这个东西，api key平台大体一样，只是个别平台上的区别。
　　把oneforall能填的key大体填填再测试，结果大概有500个左右。
　　这里域名如果是一些比较大型的公司，它可能子域名会多一点，而oneforall有一个enable_finder_module模块默认开启，意思是要从子域的js文件和响应体中再次发现子域名，这种情况很容易导致子域变得过多而且不够准确的情况，如果这种匹配结果过多，就会报错，issue有人提出了这个问题：
　　有人测试超过十万就报此错误，错误最开始提示的是Start Finder module，所以可以先把finder这个模块关掉，需求并不是很大，不关的话，是不会生成csv结果的。
　　还有个问题就是默认的一些google模块是无法访问的，可以在云服务器上运行，也可以给它设置代理，启用代理，使用代理的模块默认就可以：

　　这里测试代理是成功的，本机v2rayn会有日志记录，但实际oneforall运行时会有一些站点请求显红，报timeout，猜测可能超时原因，超时设置这里没看到具体的调整位置，介意的话完全可以放到云服务器运行。
　　暴力破解
　　暴破字典的话，倒没有必要去搜集整理，oneforall自带的那个超大字典挺全面的，有了字典拿支持暴破的工具暴破就可以，之前用的挖掘机会多点，后来发现也会存在一些问题，比如字典大了加载会卡死，或者暴破多级域名、导出结果过多的时候，都会有一段卡死的现象，后来就不用了。
　　暴破多线程很重要，多线程go支持就很好，但像subfinder主要针对的是信息搜集，没看到暴破相关的用法。但这块oneforall有提供，默认2000的线程，最大推荐不超过10000，还是挺不错的，暴破模块也进行了分离，所以很方便。
　　使用方法参考：
　　总结
　　1，主要是信息搜集和字典暴破，信息搜集主要是靠搜索引擎和平台，字典暴破主要靠字典。
　　2，sublist3r2的话涉及到的平台相对较少，可以不用。
　　3，subfinder、amass、oneforall涉及到的平台差不多，但有个别的区别，使用的时候可以结合去重。
　　4，subfinder国外平台会多点，oneforall国内的会多点，amass整体也不错，amass作为资产暴漏面搜集，也提供了其它一些实用的功能。
　　5，暴破的话可以把sublist3r2的字典和oneforall的字典整理整理，或者再搜集些其它字典加进去，然后用oneforall的brute进行暴破。
　　6，上面结果也有误差，一个是结果数验证存活包括了http和https，都是估算，再一个，可能站点在8080上或其它端口，另外，平台key也都不一样，所以不能说哪个好用哪个不好用，
　　尾
　　工具试着试着就31号了，还挖个der呀，下个月中秋看别人吃月饼。

信息收集常用的工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 79 次浏览 • 2022-06-11 17:54 • 来自相关话题

　　信息收集常用的工具
　　信息收集
　　一、对象
　　1.网站 ：源码 robots文件 后台登录2.服务器 ：IP地址 服务器操作系统类型和版本 端口开放情况3.管理员 ：个人信息  手机号  社交账号  常用密码  敏感数字
　　二、网站操作类型识别方式
　　windows ：不区分大小写Linux ：区分大小写
　　三、网站指纹识别工具
　　 御剑指纹识别 云悉在线指纹识别 kali——whatweb  火狐浏览器插件——Wappalyzer
　　四、目录扫描/敏感文件扫描
　　搜索网站目录下面的敏感文件 间接识别网站使用的框架或者内容管理系统工具 ：御剑指纹识别 谷歌黑客语法 site：限制搜索范围的域名 inurl：限制搜索的url中必须存在的内容 intext：限制搜索的页面中必须存在的内容 intitle：限制搜索的页面的标题栏中的内容    filetype：限制搜索的文件类型
　　五、IP查询
　　命令：ping nslookup工具：站长之家 ip138
　　六、端口扫描
　　nmap御剑端口扫描shell、python脚本
　　七、whois查询
　　站长工具ip138中国万网爱站网
　　八、子域名查询
　　查询方式：枚举(暴力破解) 工具：子域名挖掘机
　　九、空间搜索引擎
　　shadon钟馗之眼fofa
　　十、常见端口
　　21：文件传输 FTP22：SSH23：Telnet25：电子邮件53：DNS67：DHCP110：POP3135：RPC139：NetBIOS443：HTTPS445：SMB协议3306：MySQL3389：远程桌面1521：Orale1433：sql server
　　原文地址：https://blog.csdn.net/d1996a/a ... 40677
　　
　　历史文章 查看全部

　　信息收集常用的工具
　　信息收集
　　一、对象
　　1.网站 ：源码 robots文件 后台登录2.服务器 ：IP地址 服务器操作系统类型和版本 端口开放情况3.管理员 ：个人信息  手机号  社交账号  常用密码  敏感数字
　　二、网站操作类型识别方式
　　windows ：不区分大小写Linux ：区分大小写
　　三、网站指纹识别工具
　　 御剑指纹识别 云悉在线指纹识别 kali——whatweb  火狐浏览器插件——Wappalyzer
　　四、目录扫描/敏感文件扫描
　　搜索网站目录下面的敏感文件 间接识别网站使用的框架或者内容管理系统工具 ：御剑指纹识别 谷歌黑客语法 site：限制搜索范围的域名 inurl：限制搜索的url中必须存在的内容 intext：限制搜索的页面中必须存在的内容 intitle：限制搜索的页面的标题栏中的内容    filetype：限制搜索的文件类型
　　五、IP查询
　　命令：ping nslookup工具：站长之家 ip138
　　六、端口扫描
　　nmap御剑端口扫描shell、python脚本
　　七、whois查询
　　站长工具ip138中国万网爱站网
　　八、子域名查询
　　查询方式：枚举(暴力破解) 工具：子域名挖掘机
　　九、空间搜索引擎
　　shadon钟馗之眼fofa
　　十、常见端口
　　21：文件传输 FTP22：SSH23：Telnet25：电子邮件53：DNS67：DHCP110：POP3135：RPC139：NetBIOS443：HTTPS445：SMB协议3306：MySQL3389：远程桌面1521：Orale1433：sql server
　　原文地址：https://blog.csdn.net/d1996a/a ... 40677
　　
　　历史文章

快速收集子域名工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 59 次浏览 • 2022-06-11 17:36 • 来自相关话题

　　快速收集子域名工具
　　
　　
　　基于网络查询的快速子域名收集工具
　　主要是为了快速收集平台的学校子域名等目标写的一些工具集合.
　　下载 taoman 使用命令:
　　python taoman.py -f data/edusrc_school_domains.txt
　　taoman 运行效果图:

　　data 目录:
　　根据网络查询收集的平台上学校的 10 万左右域名,过滤出的域名元数据与简单统计的数据.
　　可用 pydictor 的 -tool counter 功能,结合自己需求,筛选data目录内元数据的高频域名单词, 作为针对教育行业子域名爆破的爆破字典.
　　edusrc_SLD_name_raw_list 常用二级域名单词元数据
　　edusrc_SLD_top_1000 1000个最常用的二级域名单词
　　edusrc_SLD_top_3000 3000个最常用的二级域名单词
　　edusrc_SLD_unique_name 去重后的所有二级域名单词
　　edusrc_MLD_name_raw_list 常用多级域名单词元数据
　　edusrc_MLD_top_300 300个最常用的多级域名单词
　　edusrc_MLD_top_600 600个最常用的多级域名单词
　　edusrc_school_domains 使用collectfromsrc收集的学校主页地址
　　edusrc_school_name 使用collectfromsrc收集的学校名字
　　others 目录:
　　domain_to_ip.py 一个批量解析域名为ip地址的小脚本,使用socket.gethostbyname方法实现,自动修正非法域名、结果去重.
　　collectfromsrc.py 一个自动收集src平台学校名字并利用百度找到名字对应的主页地址的小脚本 查看全部

　　快速收集子域名工具
　　
　　
　　基于网络查询的快速子域名收集工具
　　主要是为了快速收集平台的学校子域名等目标写的一些工具集合.
　　下载 taoman 使用命令:
　　python taoman.py -f data/edusrc_school_domains.txt
　　taoman 运行效果图:

　　data 目录:
　　根据网络查询收集的平台上学校的 10 万左右域名,过滤出的域名元数据与简单统计的数据.
　　可用 pydictor 的 -tool counter 功能,结合自己需求,筛选data目录内元数据的高频域名单词, 作为针对教育行业子域名爆破的爆破字典.
　　edusrc_SLD_name_raw_list 常用二级域名单词元数据
　　edusrc_SLD_top_1000 1000个最常用的二级域名单词
　　edusrc_SLD_top_3000 3000个最常用的二级域名单词
　　edusrc_SLD_unique_name 去重后的所有二级域名单词
　　edusrc_MLD_name_raw_list 常用多级域名单词元数据
　　edusrc_MLD_top_300 300个最常用的多级域名单词
　　edusrc_MLD_top_600 600个最常用的多级域名单词
　　edusrc_school_domains 使用collectfromsrc收集的学校主页地址
　　edusrc_school_name 使用collectfromsrc收集的学校名字
　　others 目录:
　　domain_to_ip.py 一个批量解析域名为ip地址的小脚本,使用socket.gethostbyname方法实现,自动修正非法域名、结果去重.
　　collectfromsrc.py 一个自动收集src平台学校名字并利用百度找到名字对应的主页地址的小脚本

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 96 次浏览 • 2022-06-10 08:46 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

URLextractor 一款信息收集和网站侦察的工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 160 次浏览 • 2022-06-09 20:13 • 来自相关话题

　　URLextractor 一款信息收集和网站侦察的工具
　　

　　以下是此工具的一些功能：
　　IP和托管信息，如城市和国家（使用FreegeoIP）
　　DNS服务器（使用挖掘）
　　ASN，网络范围，ISP名称（使用RISwhois）
　　负载平衡器测试
　　滥用邮件的Whois（使用Spamcop）
　　PAC（代理自动配置）文件
　　将哈希值与差异代码进行比较
　　robots.txt（递归寻找隐藏的东西）
　　源代码（寻找密码和用户）
　　外部链接（来自其他网站的框架）
　　目录FUZZ（如Dirbuster和Wfuzz - 使用Dirbuster）目录列表）
　　URLvoidAPI - 检查Google页面排名，Alexa排名和可能的黑名单
　　在其他网站上提供有用的链接以与IP / ASN相关联
　　最后在浏览器中打开ALL结果的选项
　　用法
　　./extractor
　　要求：
　　使用brew测试Kali light mini和OSX 10.11.3
　　sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y 查看全部

　　URLextractor 一款信息收集和网站侦察的工具
　　

　　以下是此工具的一些功能：
　　IP和托管信息，如城市和国家（使用FreegeoIP）
　　DNS服务器（使用挖掘）
　　ASN，网络范围，ISP名称（使用RISwhois）
　　负载平衡器测试
　　滥用邮件的Whois（使用Spamcop）
　　PAC（代理自动配置）文件
　　将哈希值与差异代码进行比较
　　robots.txt（递归寻找隐藏的东西）
　　源代码（寻找密码和用户）
　　外部链接（来自其他网站的框架）
　　目录FUZZ（如Dirbuster和Wfuzz - 使用Dirbuster）目录列表）
　　URLvoidAPI - 检查Google页面排名，Alexa排名和可能的黑名单
　　在其他网站上提供有用的链接以与IP / ASN相关联
　　最后在浏览器中打开ALL结果的选项
　　用法
　　./extractor
　　要求：
　　使用brew测试Kali light mini和OSX 10.11.3
　　sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

腾讯搜索引擎优化接入服务的做法

采集交流 • 优采云 发表了文章 • 0 个评论 • 58 次浏览 • 2022-06-09 13:00 • 来自相关话题

　　腾讯搜索引擎优化接入服务的做法
　　网站采集工具，网站抓取的都是从腾讯指定的网站抓取的，因为他们不能直接控制，所以公司做了合作关系，网站如果被查了就可以找他们解决，另外抓取也有好处的，比如当你访问别的网站的时候，会自动跳转到你指定的网站里面去，
　　百度收录，只有一个理由，就是做了锚文本，比如输入“股市金银”四个字，是跳转到“股市金银百度打广告了。”再比如查找、设置搜索引擎自动推送给你的关键词，是抓取站长的原创新闻，也有可能你的长尾关键词有价值。另外还有一种方法就是，你自己抓取什么就是什么。
　　抓取原因是腾讯搜索引擎优化接入服务，与百度的做法不同，一般百度的做法是百度中心站点采集。
　　百度流量广告联盟的文章收录是我的，给搜索引擎看，反正我就是做这个的，网址有的没有给标星，有的有。或者说你写了多少段文字，都被收录了，
　　爬虫抓取和人工抓取的问题主要是百度搜索引擎优化
　　就是
　　长尾词抓取，
　　你可以尝试下，用robots.txt修改或者是百度搜索引擎优化接入服务。
　　还有一个作用就是你可以写一些你的长尾词，但其实质意义是重要，并不是特别重要的词。不会出现搜索引擎收录全部的一些词。 查看全部

　　腾讯搜索引擎优化接入服务的做法
　　网站采集工具，网站抓取的都是从腾讯指定的网站抓取的，因为他们不能直接控制，所以公司做了合作关系，网站如果被查了就可以找他们解决，另外抓取也有好处的，比如当你访问别的网站的时候，会自动跳转到你指定的网站里面去，
　　百度收录，只有一个理由，就是做了锚文本，比如输入“股市金银”四个字，是跳转到“股市金银百度打广告了。”再比如查找、设置搜索引擎自动推送给你的关键词，是抓取站长的原创新闻，也有可能你的长尾关键词有价值。另外还有一种方法就是，你自己抓取什么就是什么。
　　抓取原因是腾讯搜索引擎优化接入服务，与百度的做法不同，一般百度的做法是百度中心站点采集。
　　百度流量广告联盟的文章收录是我的，给搜索引擎看，反正我就是做这个的，网址有的没有给标星，有的有。或者说你写了多少段文字，都被收录了，
　　爬虫抓取和人工抓取的问题主要是百度搜索引擎优化
　　就是
　　长尾词抓取，
　　你可以尝试下，用robots.txt修改或者是百度搜索引擎优化接入服务。
　　还有一个作用就是你可以写一些你的长尾词，但其实质意义是重要，并不是特别重要的词。不会出现搜索引擎收录全部的一些词。

综合信息收集工具 -- SearchMap

采集交流 • 优采云 发表了文章 • 0 个评论 • 146 次浏览 • 2022-06-09 04:20 • 来自相关话题

　　综合信息收集工具 -- SearchMap
　　‘
　　一、工具介绍
　　searchmap是一款集域名解析、IP反查域名、WHOIS查询、CDN检测、端口扫描、目录扫描、子域名挖掘为一体的前渗透测试综合信息收集工具。
　　二、安装说明
　　1.工具使用python3开发，请确保您的电脑上已经安装了python3环境。
　　2.工具的端口扫描功能调用了nmap接口，请确保您的电脑已安装nmap。
　　3.首次使用请使用 python3 -m pip install -r requirements.txt 命令，来安装必要的外部依赖包。
　　4.本机未安装pip工具的请使用如下命令来进行安装：
　　$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本$ sudo python get-pip.py # 运行安装脚本。注意：用哪个版本的 Python 运行安装脚本，pip 就被关联到哪个版本，如果是 Python3 则执行以下命令：$ sudo python3 get-pip.py # 运行安装脚本。一般情况 pip 对应的是 Python 2.7，pip3 对应的是 Python 3.x。部分 Linux 发行版可直接用包管理器安装 pip，如 Debian 和 Ubuntu：sudo apt-get install python-pip
　　三、使用方法
　　1.-u 获取网站基本信息
　　$ python3 searchmap.py -u https://www.baidu.co$ python3 searchmap.py -u 106.53.143.192

　　2.-p 使用nmap进行隐式端口扫描
　　$ python3 searchmap.py -u https://www.baidu.com -p

　　3.-r 批量扫描网站基本信息
　　$ python3 searchmap.py -r myurl.txt

　　4.-n 使用多地ping来判断目标是否使用cdn加速
　　$ python3 searchmap.py -u  https://www.baidu.com -n
　　
　　5.-d 对网站目录进行多进程扫描探测，能够自动识别伪响应页面
　　PS:程序使用的默认字典为dict/fuzz.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -d

　　6.-s 对输入域名的进行子域名爆破
　　PS:程序使用的默认字典为dict/subdomain.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -s
　　
　　7.-a 对目标域名进行全功能扫描
　　$ python3 searchmap.py -u https://www.baidu.com -a
　　8.-o 将扫描内容保存为日志
　　$ python3 searchmap.py -u https://www.baidu.com -o myscan.log
　　9.组合用法
　　$ python3 searchmap.py -u https://www.baidu.com -p -n -d -s$ python3 searchmap.py -r myurl.txt -p -n -d -s
　　四、下载地址
　　1、通过项目地址下载 查看全部

　　综合信息收集工具 -- SearchMap
　　‘
　　一、工具介绍
　　searchmap是一款集域名解析、IP反查域名、WHOIS查询、CDN检测、端口扫描、目录扫描、子域名挖掘为一体的前渗透测试综合信息收集工具。
　　二、安装说明
　　1.工具使用python3开发，请确保您的电脑上已经安装了python3环境。
　　2.工具的端口扫描功能调用了nmap接口，请确保您的电脑已安装nmap。
　　3.首次使用请使用 python3 -m pip install -r requirements.txt 命令，来安装必要的外部依赖包。
　　4.本机未安装pip工具的请使用如下命令来进行安装：
　　$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本$ sudo python get-pip.py # 运行安装脚本。注意：用哪个版本的 Python 运行安装脚本，pip 就被关联到哪个版本，如果是 Python3 则执行以下命令：$ sudo python3 get-pip.py # 运行安装脚本。一般情况 pip 对应的是 Python 2.7，pip3 对应的是 Python 3.x。部分 Linux 发行版可直接用包管理器安装 pip，如 Debian 和 Ubuntu：sudo apt-get install python-pip
　　三、使用方法
　　1.-u 获取网站基本信息
　　$ python3 searchmap.py -u https://www.baidu.co$ python3 searchmap.py -u 106.53.143.192

　　2.-p 使用nmap进行隐式端口扫描
　　$ python3 searchmap.py -u https://www.baidu.com -p

　　3.-r 批量扫描网站基本信息
　　$ python3 searchmap.py -r myurl.txt

　　4.-n 使用多地ping来判断目标是否使用cdn加速
　　$ python3 searchmap.py -u  https://www.baidu.com -n
　　
　　5.-d 对网站目录进行多进程扫描探测，能够自动识别伪响应页面
　　PS:程序使用的默认字典为dict/fuzz.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -d

　　6.-s 对输入域名的进行子域名爆破
　　PS:程序使用的默认字典为dict/subdomain.txt，用户可自行替换字典内容进行FUZZ。
　　$ python3 searchmap.py -u https://www.baidu.com -s
　　
　　7.-a 对目标域名进行全功能扫描
　　$ python3 searchmap.py -u https://www.baidu.com -a
　　8.-o 将扫描内容保存为日志
　　$ python3 searchmap.py -u https://www.baidu.com -o myscan.log
　　9.组合用法
　　$ python3 searchmap.py -u https://www.baidu.com -p -n -d -s$ python3 searchmap.py -r myurl.txt -p -n -d -s
　　四、下载地址
　　1、通过项目地址下载

红蓝攻防演练资产收集小工具|附地址

采集交流 • 优采云 发表了文章 • 0 个评论 • 88 次浏览 • 2022-06-09 00:46 • 来自相关话题

　　红蓝攻防演练资产收集小工具|附地址
　　红蓝攻防演练资产收集小工具，对攻防前的信息搜集到的大批量资产/域名进行存活检测、获取标题头、语料提取、常见web端口检测、简单中间识别，去重等，便于筛选有价值资产。
　　1.高速资产存活检测，获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />2.常见Web端口访问测试/获取标题 lxml方式速度较快<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />3.资产去重<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />4.随机UA<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />5.C段web端口探测/获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />6.C段识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />7.shiro识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />8.简单中间件识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />适用用于外网资产梳理<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><p style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">TODO:
　　<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />1.在不发送更多请求的情况下模糊识别weblogic/jboss/jenkins/zabbix/activeMQ/solr/gitlab/spring等<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　2.常见端口测试(22/445/3389/3306/6379/1521)
　　<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /></p>
　　项目地址：
　　如侵权请私聊公众号删文
　　
　　好文推荐
　　
　　欢迎关注 系统安全运维
　　五年甲方安全经验，每日坚持学习与分享，麻烦各位师傅文章底部给点个“再看”，感激不尽
　　 查看全部

　　红蓝攻防演练资产收集小工具|附地址
　　红蓝攻防演练资产收集小工具，对攻防前的信息搜集到的大批量资产/域名进行存活检测、获取标题头、语料提取、常见web端口检测、简单中间识别，去重等，便于筛选有价值资产。
　　1.高速资产存活检测，获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />2.常见Web端口访问测试/获取标题 lxml方式速度较快<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />3.资产去重<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />4.随机UA<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />5.C段web端口探测/获取标题<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />6.C段识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />7.shiro识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />8.简单中间件识别<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />适用用于外网资产梳理<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /><p style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">TODO:
　　<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />1.在不发送更多请求的情况下模糊识别weblogic/jboss/jenkins/zabbix/activeMQ/solr/gitlab/spring等<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　2.常见端口测试(22/445/3389/3306/6379/1521)
　　<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /></p>
　　项目地址：
　　如侵权请私聊公众号删文
　　
　　好文推荐
　　
　　欢迎关注 系统安全运维
　　五年甲方安全经验，每日坚持学习与分享，麻烦各位师傅文章底部给点个“再看”，感激不尽
　　

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-06-08 06:09 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：

红队信息搜集工具（附下载地址）

采集交流 • 优采云 发表了文章 • 0 个评论 • 53 次浏览 • 2022-06-08 04:19 • 来自相关话题

　　红队信息搜集工具（附下载地址）
　　ratel(獾) 是一个由rust开发的信息搜集工具，专注web资产发现，支持从fofa，zoomeye API查询，提供详细的配置参数，可靠，可以从错误中恢复查询，自动去重。
　　同时也支持主动扫描端口，探测http，提取https证书中域名。
　　ratel 提供细粒度的http poc探测模块，支持多请求的poc，利用自定义正则表达式提取响应内容并作为后续请求的变量。ratel输出格式为csv。 查看全部

　　红队信息搜集工具（附下载地址）
　　ratel(獾) 是一个由rust开发的信息搜集工具，专注web资产发现，支持从fofa，zoomeye API查询，提供详细的配置参数，可靠，可以从错误中恢复查询，自动去重。
　　同时也支持主动扫描端口，探测http，提取https证书中域名。
　　ratel 提供细粒度的http poc探测模块，支持多请求的poc，利用自定义正则表达式提取响应内容并作为后续请求的变量。ratel输出格式为csv。

Webpack-信息收集工具

采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-06-08 03:54 • 来自相关话题

　　Webpack-信息收集工具
　　团队：横戈安全团队，未来一段时间将陆续开源工具.。
　　定位：协助红队人员快速的信息收集，测绘目标资产，寻找薄弱点。
　　语言：python3开发
　　功能：一条龙服务，只需要输入根域名即可一键化收集敏感信息。具体案例见下文。
　　0x02 安装
　　为了避免踩坑,建议安装在如下环境中
　　chmod 777 build.sh./build.sh
　　
　　python3 webpackfind.py -h

　　0x03 效果展示
　　自动爬虫

　　自动爬取本地文件

　　0x04 使用说明语法功能
　　python3 webpackfind.py -u
　　采集域名中的webpack
　　python3 webpackfind.py -j ./js
　　本地读取js信息收集
　　0x05项目获取 查看全部

　　Webpack-信息收集工具
　　团队：横戈安全团队，未来一段时间将陆续开源工具.。
　　定位：协助红队人员快速的信息收集，测绘目标资产，寻找薄弱点。
　　语言：python3开发
　　功能：一条龙服务，只需要输入根域名即可一键化收集敏感信息。具体案例见下文。
　　0x02 安装
　　为了避免踩坑,建议安装在如下环境中
　　chmod 777 build.sh./build.sh
　　
　　python3 webpackfind.py -h

　　0x03 效果展示
　　自动爬虫

　　自动爬取本地文件

　　0x04 使用说明语法功能
　　python3 webpackfind.py -u
　　采集域名中的webpack
　　python3 webpackfind.py -j ./js
　　本地读取js信息收集
　　0x05项目获取

互联网数据采集器---优采云

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-04 06:47 • 来自相关话题

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程： 查看全部

　　互联网数据采集器---优采云
　　
　　优采云数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
　　下载网址：
　　折叠编辑本段主要功能
　　简单来讲，使用优采云可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。优采云数据采集系统能做的包括但并不局限于以下内容：
　　1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集;
　　2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻;
　　3. 监控竞争对手最新信息，包括商品价格及库存;
　　4. 监控各大社交网站，博客，自动抓取企业产品的相关评论;
　　5. 收集最新最全的职场招聘信息;
　　6. 监控各大地产相关网站，采集新房二手房最新行情;
　　7. 采集各大汽车网站具体的新车二手车信息;
　　8. 发现和收集潜在客户信息;
　　9. 采集行业网站的产品目录及产品信息;
　　10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。
　　
　　折叠编辑本段产品优势折叠操作简单
　　操作简单，完全可视化图形操作，无需专业IT人员，任何会使用电脑上网的人都可以轻松掌握。
　　折叠云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，可以很短的时间内 获取成千上万条信息。
　　折叠拖拽式采集流程
　　模拟人的操作思维模式，可以登陆，输入数据，点击链接，按钮等，还能对不同情况采取不同的采集流程。
　　
　　折叠图文识别
　　内置可扩展的OCR接口，支持解析图片中的文字，可将图片上的文字提取出来。
　　折叠定时自动采集
　　采集任务自动运行，可以按照指定的周期自动采集，并且还支持最快一分钟一次的实时采集。
　　折叠2分钟快速入门
　　内置从入门到精通所需要的视频教程，2分钟就能上手使用，另外还有文档，论坛，qq群等。
　　
　　折叠免费使用
　　它是免费的，并且免费版本没有任何功能限制，你现在就可以试一试，立即下载安装。
　　
　　
　　配置视频教程：
更多...
© 优采云AI内容工厂
QQ群1：574685687(已满)　QQ群2：294515895(新)　微信公众号：www_ucaiyun_com

官方客服QQ群

微信人工客服

QQ人工客服

在
线
客
服