行业解决方案:采集精准资源的全网大数据营销系统

　　行业解决方案:采集精准资源的全网大数据营销系统

　　鹰眼成立12年。拥有成熟的技术团队和完善的售后服务部门。软件完全自主开发，不断更新升级，满足用户需求。从最初的第一代，一路到现在的第八代，最新版本v8.0

　　Eagle Eye Smart Customer的所有软件都集成在一套阿里云系统中运行。每个软件都有非常详细的视频功能教程，方便学习和操作。此外，系统还嵌入了*敏*感*词*的客户服务和400条售后服务*敏*感*词*。保证以后随时使用。另外，后期更新软件，或者安装新软件时，会直接提示：可更新，新软件提示：未安装。一键安装并在系统中使用。

　　来自“ITPUB博客”，链接：如需转载，请注明出处，否则追究法律责任。

　　行业解决方案:只是一个电商的全网分布式采集服务

　　项目：蜥蜴

　　重要提示：看起来既野蛮又霸道的整个网络采集将不再维护和开发新功能。仅用于学习和交流 IT 技术。不要在生产环境中使用。仅用于学习 IT 技能的演示，请勿在生产中使用。

　　提醒：我无法阻止您的某些行为。采集小规模的网站数据泄露并不违法，比如手动复制粘贴，但是小规模的自动采集会给服务商带来压力，可能存在法律风险. 请谨慎行事。

　　一、简介

　　本项目采用Golang语言开发，采集并发快，前端使用beego开发。算是老古董了，开发周期两年，基本能跑。

　　本项目前后端的具体组件已经拆分出来：

　　土拨鼠 | Web爬虫/HTTP协议下载包兔| Beego 简易网页| 每个人都可以轻松使用

　　平台的具体使用请参考亚马逊大数据智选平台用户手册v1.2.pdf。

　　视觉前端系统在这里：

　　一、中文介绍

　　用途：选择，特别适合亚马逊跨境电商运营公司（不支持中国亚马逊）。核心能力：四个国际站点：美国/英国/日本/德国，分布式，支持背景可视化。

　　关于评选：TOP20W排名产品供您自由选择。

　　亚马逊爬虫支持：

　　列表页和详情页可以选择代理方式，多浏览器保存cookie机制爬取和去重日志功能支持可视化网站，支持多角度查看数据，小数据、大数据、Asin数据和分类数据，支持查看每个Asin产品的历史记录，如排名、价格、分数、评论变化。部分数据支持导出，网站支持RBAC权限，可以分配数据各部分的查看和使用权限。监控网络侧的爬虫，可以查看爬虫当期的爬取状态、爬取进度、IP消耗情况。可以支持网络侧爬虫的启停，完全变成Saas（待完成）。您可以自定义IP，

　　分布式、高并发、跨平台、多站点、多种自定义配置、强容错性是该爬虫的特点。如果机器和 IP 代理的数量足够，每个站点每天可以获取数百万的商品数据。

　　2.简单的一瞥

　　分类，可以更改要爬取的页数以及是否爬取。

　　小品类数据，基础Top100商品数据。

　　大类数据，非常详细，包括类目排名等，可以通过复杂的查询条件过滤下载。

　　产品动态，可以看到十多天的产品排名变化和价格变化。

　　导出的EXCEL

　　3. 软件架构

　　老的：

　　新的：

　　类别大致如下。

　　+----------------------------+-----------------+

| bigpname | count(bigpname) |

+----------------------------+-----------------+

| Amazon Launchpad | 22 |

| Appliances | 34 |

| Arts Crafts & Sewing | 470 |

| Automotive | 3162 |

| Baby | 333 |

| Beauty & Personal Care | 406 |

| Camera & Photo | 214 |

<p>

| Cell Phones & Accessories | 61 |

| Clothing Shoes & Jewelry | 1803 |

| Collectible Coins | 3 |

| Computers & Accessories | 294 |

| Electronics | 1292 |

| Entertainment Collectibles | 43 |

| Gift Cards | 19 |

| Grocery & Gourmet Food | 1324 |

| Health & Household | 1185 |

| Home & Kitchen | 1903 |

| Industrial & Scientific | 3325 |

| Kitchen & Dining | 738 |

| Musical Instruments | 612 |

| Office Products | 736 |

| Patio Lawn & Garden | 590 |

| Pet Supplies | 499 |

| Prime Pantry | 1 |

| Sports & Outdoors | 2686 |

| Sports Collectibles | 57 |

| Tools & Home Improvement | 1666 |

| Toys & Games | 791 |

+----------------------------+-----------------+

</p>