chrome 插件 抓取网页qq聊天记录(批量提取AJAX/Javascript动态生成的错误提示:Cannot加载)

优采云 发布时间: 2022-03-03 18:12

  chrome 插件 抓取网页qq聊天记录(批量提取AJAX/Javascript动态生成的错误提示:Cannot加载)

  根据 MetaStudio 手册加载示例页面后,等待并观察 MetaStudio 的嵌入式浏览器窗口。等待提取的QQ聊天记录显示出来后,点击文件->刷新DOM菜单。内容显示在 DOM 树中。否则会遇到错误信息:找不到节点。

  在上传信息结构和聊天记录提取规则之前,需要查看选项菜单配置->自动申请的状态,不勾选显示与普通页面的区别

  使用 MetaStudio 加载和修改信息结构的操作方法也不同。由于没有勾选配置->自动应用,所以这类信息结构不会自动应用信息结构来分析样本页面是否符合抽取规则,而是提示用户“信息”。结构加载和分析延迟执行”,所以用户需要点击菜单文件->后续分析,完成网页DOM的刷新和信息结构的应用分析。

  网页内容爬取工具DataScraper的操作并没有改变,和提取普通页面一样。不过DataScraper内部进行了改进,特别适应了AJAX动态生成网页内容的特性,并增加了新的工作流处理器。另外,手动批量爬取和周期性批量爬取的速度是一样的,比手动批量提取普通网页要快。这是因为采用了加速提取的增强功能。因此,周期性批量提取的参数waitOnload无关紧要。任何设置都将被忽略。因此,为了防止目标网站在大批量提取时突然增加流量压力,需要设置延迟参数minIdle和maxIdle。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线