实时文章采集( Oxylabs定位的3款工具:SERPAPI、电商爬虫API )
优采云 发布时间: 2022-01-08 15:00实时文章采集(
Oxylabs定位的3款工具:SERPAPI、电商爬虫API
)
在过去的几个月里,我们一直在改进我们的实时爬虫产品。现在,Oxylabs 很高兴地宣布,我们即将带来一款新的爬虫产品!虽然上一代产品的单一解决方案非常出色,但为了满足客户不同场景的需求,我们将推出3款定位不同的工具:SERP爬虫API、电商爬虫API和网页爬虫API。今天的文章文章带你了解新品的独特之处。
有什么变化?
实时爬虫是网络爬虫行业最早的数据采集工具之一,专用于*敏*感*词*的采集电子商务公共数据和搜索引擎数据。它帮助许多公司轻松采集公共数据,现在我们的产品表现更好。
“我们针对实时爬虫的不同功能,开发了3款专用爬虫工具,这样我们就可以有针对性地进行产品开发,从而为客户提供整体性能和用户体验更好的产品。”
– Aleksandras Šulženko,Oxylabs 的 Crawler API 产品经理
从现在开始,实时爬虫已经衍生为一组健壮的爬虫 API,每个 API 都有特定的优势:
● SERP爬虫API
● 电商爬虫API
● 网络爬虫API
产品功能优化
所有爬虫 API 的共同特点和优势在于,它们可以帮助企业轻松采集公开数据:
● 100% 的数据传输成功率
● 专利代理人切换工具
● 高扩展性
● 可轻松集成
● 超过1.02亿个IP
● 以用户首选格式(AWS S3 或 GCS)交付数据
● 24/7 实时支持
当然,每种产品都有自己的针对性优势:
SERP 爬虫 API
电商爬虫API
网络爬虫 API
●本地化搜索结果●实时可靠的数据●不受SERP布局变化的影响
●数以千计的电子商务公司网站可用于数据捕获●自适应解析器●JSON格式的结构化数据
●请求参数可自定义●JavaScript渲染●便捷的数据传递
“最好的部分是爬虫 API 将您从管理代理的麻烦中解放出来,并专注于数据分析。”
氧实验室
新面貌
所有 3 个爬虫 API 现在都有新徽标,显示其特定用途,以便于识别:
继续之前的集成
为了方便我们现有客户和在本次更新之前尝试过我们产品的潜在客户,我们决定使用之前的集成和身份验证方法,以及相同的请求参数。
SERP爬虫API认证方式
SERP Crawler API 使用基本的 HTTP 身份验证,只需要用户名和密码。这是启用此工具的最简单方法之一。以下代码示例展示了如何通过实时发送 GET 请求从搜索引擎获取公共数据。有关更多信息,请查看 SERP Crawler API 快速指南。
*对于此示例,您必须指定确切的来源才能找到可用的来源。有关详细信息,请参阅 SERP Crawler API 文档。
电商爬虫API认证方式
电子商务爬虫 API 使用基本的 HTTP 身份验证,只需要用户名和密码。以下代码示例显示了如何将 GET 请求发送到 .