采集规则 采集 data-src(【知识点】数据采集基本功能(1)、多线程采集)

优采云 发布时间: 2021-11-19 02:01

  采集规则 采集 data-src(【知识点】数据采集基本功能(1)、多线程采集)

<p>1、数据采集基本功能1)支持多任务、多线程数据采集,支持一个采集任务、多多线程、高性能&lt; @采集器版源码,可以使用ajax页面实例运行,即采集任务规则和采集任务操作会分离,方便采集@ &gt; 任务配置和跟踪管理;2)支持GET、POST请求方式,支持cookie,可以满足严肃数据的需要采集,cookie可以提前存储,也可以实时获取;3)支持用户自定义HTTP Header,通过这个功能用户可以完全模拟浏览器请求操作,可以满足所有网页请求需求。此功能在数据网络发布时特别有用;&lt; @4)采集 URL 支持数字、字母、日期以及自定义字典、外部数据等参数,最大限度的简化采集 URL 的配置,从而达到批处理采集;5)采集 URL支持导航操作(即从入口页面自动跳转到需要采集数据的页面),导航规则支持复杂规则,导航级别不限,并可进行多层网址导航;6)支持采集自动URL翻译页面和导航层自动翻页。定义翻页规则后,系统会自动为数据采集翻页。同时,该功能还可用于用户自动合并页面&lt; @文章; 7)网络矿工支持级联采集,即在导航的基础上,不同层次的数据可以自动采集下并自动合并。这个函数也可以叫分页采集;8)网络矿工支持翻页数据合并,可以合并多页数据,典型应用是同一篇文章

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线