web分析系统采集器、bi工具、爬虫工具采集工具

　　web分析系统采集器、bi工具、爬虫工具采集工具

　　建站系统采集器、bi工具、爬虫工具采集器主要是网上采集信息，比如厂家信息、天猫店铺的信息，天猫店铺采集工具就是按照规则采集商品信息。bi工具是针对分析和数据挖掘，比如ai数据可视化，情报分析。爬虫工具主要针对爬虫抓取，比如各种网页抓取。

　　网站采集，小网站还可以。一个标准的大网站应该会用bi工具，比如，菜鸟看看、万亿数据等等，因为这些是用*敏*感*词*数据来做数据分析的。

　　在外包的公司，没有人使用网站采集工具，都是爬虫工具。

　　crawlercrawler就是网页抓取工具，一般用于抓取网页，也可以用于抓取一些邮件推送页面的公开链接。

　　其实大多数公司都不用，现在已经没有意义。

　　抓网页抓论坛，抓电影，抓博客，用的多的是bi。

　　爬虫抓取：企业页面爬取需要带网站地址，ping命令实现自动抓取，若论坛或博客页面加载卡顿，需要手动查看加载数据库链接，耗时会在网站404后判断为内容不存在而移除内容。

　　当然是网站采集了。

　　我们做web分析系统的朋友已经不用js来抓取，但是会使用xhr来抓取所有页面，通过xhr和返回值再来判断页面的抓取工具。大体来说就是利用非传统cookie来实现xhr-https，需要购买正版。