网页视频抓取浏览器(等效toenablecrossdomainajaxajaxrequestrequest)
优采云 发布时间: 2021-12-14 20:31网页视频抓取浏览器(等效toenablecrossdomainajaxajaxrequestrequest)
我想通过在浏览器中运行代码来获取 网站。在这种情况下,scraper 必须在特定机器上运行,而我不能在该机器上安装任何软件。不过我已经安装了浏览器(火狐最新版),可以随意配置浏览器。
我想要的是一个抓取的javascript解决方案,收录在站点A的网页中,可以抓取站点B。看来这样会遇到一些CORS类型的问题;我认为解决方案的一部分是禁用浏览器中的任何跨域检查。
到目前为止我尝试过的:我查找了“javascript中的网络抓取”,它带来了很多将在带有cheerio的nodejs中运行的东西,例如,像pjscrape这样的东西需要PhantomJS。但是,我找不到任何旨在在浏览器中运行的等效内容。
PS 这很有趣:Firefox 设置启用跨域 ajax 请求显然 Chrome --disable-web-security 处理跨域/跨域问题。Firefox 等效?
PS Firefox 的 ForceCORS 扩展似乎也很有用:我不确定我是否可以安装它。
PS 这是在不同浏览器中允许跨域的一个很好的方法集合:不幸的是,建议的 Firefox 解决方案在版本 >=5 中不起作用。