怎样抓取网页数据( WebScraping,,)

　　怎样抓取网页数据(

WebScraping,,)

　　Javascript 用 js 编写的网页抓取是如何工作的？

　　jqueryajax 网页抓取

　　Javascript 用 js 编写的网页抓取是如何工作的？ ,javascript,jquery,ajax,web-scraping,Javascript,Jquery,Ajax,Web Scraping，假设页面代码中收录 js 代码，当我点击时它会接收 URL 并返回完整页面代码（针对此 URL）当页面按钮被按下时，这个js代码就会被执行。就像这里如果用户点击这个按钮，这个 URL 是代表我（通过我的 IP）还是用户（通过他的 IP）请求的？请求将由用户的机器和他的 IP 发出。但是，由于跨域请求的限制，这可能不起作用。正如答案所说，只有当您正在抓取的 网站 启用了 CORS 时，它才会起作用。 CORS 和其他安全因素使得从浏览器中简单地抓取网页变得困难。如果要使用 JS，可以考虑在可以执行的服务器上运行无头浏览器（PoPPETER）

　　假设页面代码中收录js代码，它接收URL并返回完整的页面代码（对于这个URL）

　　当我单击页面上的按钮时，将执行此 js 代码。比如这里

　　如果用户单击此按钮，是代表我（通过我的 IP）还是用户（通过他的 IP）请求此 URL？

　　请求将由用户的机器和他的 IP 发出。但是，由于跨域请求的限制，这可能不起作用。正如答案所说，只有当您正在抓取的 网站 启用了 CORS 时，它才会起作用。 CORS 和其他安全因素使得从浏览器中简单地抓取网页变得困难。如果您想使用 JS，请考虑在可以进行 Web 清理的服务器上运行无头浏览器 (PoPPETER)，然后在前端使用 Ajax 触发它。非常感谢您的回答！也就是说，如果我想通过我的站点用户的 ip 抓取页面，我想要抓取的页面不应该有 CORS 吗？不要告诉我，这种方式可以在api上采集数据吗（通过js和用户ip）？我在某处读到一些 网站 允许你这样做。例如，如果我想像这样解析 aliexpress 或 pandao，这可以吗？