js提取指定网站内容的页面进行爬取简单易用

　　js提取指定网站内容的页面进行爬取简单易用

　　js提取指定网站内容的页面进行爬取，抓取的数据直接保存在网站数据库中，简单易用。下面我们就通过一个实例来分析js提取json数据。

　　好像有些网站直接返回html，看那个语言能写了。

　　js提取json数据是一个很蛋疼的事情。json提取出来放到数据库里是一堆没有意义的东西。所以干脆不应该给数据提取出来。而是好好想想如何设计一个简单、高效的检索结构。另外一个比较好的办法就是用比如setdata做一些映射操作，另外这些操作采用workflow来操作很合理，另外可以完全在本地操作。

　　jsoncurl这个库有js代码，

　　简单来说，可以借助一些工具来提取，然后转换成json。我比较喜欢torbir这个库提供的workflow。

　　我觉得楼上写的很详细了，我来说一下我遇到的问题，然后我的方法和结果w3cschool：js提取xxx以xxx作为key-value就可以转成json了torbir：中文乱码、区分小写-->advent+key-valueonly关键点：想象一下要解析的url有什么样的组成，有哪些字段，然后一个一个进行处理，然后一点一点output到数据库。

　　requests+requestslib/requests

　　这是一个快速开发爬虫的一个很不错的库github-eternalfool/cuttera:apythonthatlookssoimportantincuttingjson.