js抓取网页内容(我试图从谷歌刮取书籍类型信息.(图)JS.)

优采云 发布时间: 2022-01-03 21:20

  js抓取网页内容(我试图从谷歌刮取书籍类型信息.(图)JS.)

  我试图从 Google 抓取图书类型信息。

  就像把计算/转化放到谷歌里一样,结果会显示在搜索结果上方的框中。我可以轻松地在浏览器(控制台)中获取此框中的数据,但是当我在 casper 中尝试相同的代码时,该内容框并未出现在代码中的任何位置。我可以在浏览器中复制这个的唯一方法是关闭 JS。

  我不知道为什么 CasperJS 和我自己的浏览器显示不同的格式,但有没有办法让它们相同?这是我正在使用的当前代码,其中

  links = #safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre

  casper.start();casper.userAgent('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) ');casper.thenOpen(links, function() {casper.waitForSelector('.answer_predicate', function() {this.echo(this.getHTML('.answer_predicate'));});});casper.run();}

  解决方案:

  运行以下命令:

  var casper = require('casper').create({ pageSettings: { loadImages: false, loadPlugins: false, userAgent: 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1588.0 Safari/537.36' }});links = 'https://www.google.com/webhp?hl=en&tab=ww#safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre'casper.start();casper.thenOpen(links, function() { this.waitForSelector('.answer_predicate', function() { this.echo(this.getHTML('.answer_predicate')); this.echo(this.getElementInfo('.answer_predicate').text); });});casper.run();

  给我这个输出:

  FictionFiction

  我的假设是这里的问题与这里发布的问题相同。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线