js 抓取网页内容(js抓取网页内容中的js代码一般都需要浏览器的支持)

　　js 抓取网页内容(js抓取网页内容中的js代码一般都需要浏览器的支持)

　　js抓取网页内容中的js代码一般都需要浏览器的支持，github上有个大神moumoon写了一个js库，开源。链接如下。

　　要抓取js文件，开源有可用的工具，不过我想想还是multiprocessing更适合抓取js文件。先从爬虫说起，爬虫简单来说是对一个网页进行点击，拖动按钮，按键操作等。你想爬取电商网站的产品。那你最起码要先清楚一个道理，那就是一个网页最多显示50个产品，所以，完整的列表表如下:f12（chrome,firefox，safari，ie都可以）进入开发者视角，看看究竟是些什么样的网页。

　　1.图片网页(一般图片不包含js代码)2.搜索引擎类网页(谷歌，百度，雅虎)3.社交网站(twitter，facebook等)4.每个网页对应的超链接服务器(cloudflare等)5.接口服务器(如果是抓js的话，一般会抓取服务器中的接口，开发者也可以为每个接口写restapi)从用户角度看，我们是想到文章列表这里去，哪些是按钮操作呢？知乎：点击“我要搜索”->输入文章标题->搜索京东：点击图片上的“订单”->在浏览器中显示对应选项->点击“我要搜索”///更多爬虫方法不列举,各种库很多,以知乎为例,每个页面内其实都有相对应的js代码根据返回页面（完整列表表）就可以判断一个页面是否是正常网页，这时候你就需要根据这个判断页面的地址去抓取对应的网页代码。

　　这就必须用到python中的multiprocessing，其实直接用requests就可以直接抓取，加上multiprocessing直接就可以抓取整个页面所以最后一句cloudflare.getstream(file)。