网页文章采集器( 在优采云中如何设置?Ajax超时设置为几秒合适)

优采云 发布时间: 2022-03-14 10:29

  网页文章采集器(

在优采云中如何设置?Ajax超时设置为几秒合适)

  

  ④ 点击搜狗微信【文章链接】

  

  ⑤ 点击【百度点击】按钮

  

  答案:1 是;2 是;3 是;4 没有;5 是的。

  三、是ajax点击,如何在优采云中设置?

  1、优采云自行判断网页是Ajax

  判断为Ajax点击后,会自动勾选【Ajax加载数据】,并设置一定的【Ajax超时】时间。

  如下图所示,百度地图的搜索按钮采用了Ajax技术,优采云自动选择【Ajax加载数据】,并设置【Ajax Timeout】为3秒。

  【Ajax超时】是什么?单击后等待的时间,之后将执行下一步。

  【Ajax超时】设置多少秒为宜?可以长于【点击后新数据加载所需的时间】。请注意点击网页本身后加载新数据所需的时间。

  如果优采云自动设置的【Ajax Timeout】太短,导致无法采集到数据,可以相应延长【Ajax Timeout】,建议5-10秒,可根据情况调整的网页。

  

  如果是Ajax点击,但是优采云中没有设置【Ajax加载数据】怎么办?

  对于【点击】【翻页】等引起页面变化的步骤,优采云根据网页是否加载来决定是否进行下一步:如果加载完成,则进行下一步;如果没有完成,等待完成继续下一步。

  对于非Ajax网页,点击后有一个网页重新加载的过程。加载完成后,优采云就知道网页已经加载完毕,可以进行下一步了。

  Ajax网页,点击后网页不会重新加载,没有变化,优采云无法判断网页是否加载,默认点击后等待120秒。但实际上Ajax点击后,几秒内就会出现本地数据,默认等待120秒会极大影响采集的速度。

  2、 是 Ajax 网页,但 优采云 不会自动确定

  我们需要手动设置Ajax对应的步骤:勾选【Ajax加载数据】,并设置一定的【Ajax超时】时间。

  目前自动判断非常准确,这种情况很少出现,也没有实例演示。

  四、不是Ajax点击,可以设置【Ajax超时时间】吗?

  有些网页没有被ajax点击,点击后重新加载。采集 的数据已经出现在页面上,但是 URL 栏还没有加载。优采云 将等待加载完成后再进行下一步,这会减慢 采集。

  针对这种情况,可以设置【Ajax timeout】强制停止网页加载。但是需要注意的是,【Ajax timeout】的时间必须比实际加载数据的时间要稍长一点,才采集。例如,如果 采集 的数据实际在 5 秒内加载完毕,则将 [Ajax Timeout] 设置为 7 秒。7 秒后,即使 URL 栏还在加载,优采云 也会强制停止加载。继续下一步以提高 采集 速度。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线