javascriptscrapy工具来抓取网页内容的解决办法（一）——ajax抓取

　　javascriptscrapy工具来抓取网页内容的解决办法（一）——ajax抓取

　　ajax抓取网页内容是一个非常经典的技术，解决的问题也非常的广泛。开发一个工具来抓取站点的内容，不仅速度快，还能去除站点上的广告数据，对于抓取用户体验来说非常好。而且，如果抓取的速度不够快，那么这个工具在服务器上就要多连接几次，这种情况就会带来性能问题。因此有大神发明了javascriptscrapy工具来抓取网页内容，那么这个javascriptscrapy工具具体是干嘛的呢？今天我就给大家演示一下。

　　安装javascriptscrapy工具直接复制官方地址：-scrapy/scrapy-docs就可以直接进行安装。但是这样会出现一个问题，网站使用正则表达式处理，因此ip限制是必须要写在配置文件的。解决办法在配置文件中直接添加这条路径，可以满足80%的要求。此外，利用正则表达式还可以处理一些中文文本。

　　特别的是，javascript在python中也能使用，但是使用起来会有点吃力。我们可以通过如下方式来解决python和javascript中文处理的问题。解决办法目前最好的是使用python来处理，因为javascript提供了正则表达式api，并且在正则表达式的参数中写入python代码，就可以调用正则表达式了。

　　这里建议大家考虑使用python2的正则表达式库genesis-enhance-re，但是，这个库的中文处理速度慢，需要自己进行编译。不过相信日后genesis-enhance-re会与python3版本兼容，性能会有所提升。我们实际上是抓取一条ajax文本内容，在抓取结束的时候返回json格式数据。

　　如果速度够快，可以将字符串拼接方式切分一下，然后保存到本地。ajax抓取需要下载python,pip要安装，所以可以运行如下命令安装：pip3installjson_format-python-win32-pip6#pipinstallformat2-python-win32-pip6#pipinstallpython-win32-pip6default_as_pythonx.py，它会自动把python代码和json转换成json文件：pythonformat2.py>json_format.json编译json文件：pythonpython./python./json_format.json提取python中的所有对象：pythonobj_dict.py>json_format.json如果需要用python的doc编写正则表达式，可以通过正则表达式形式和参数形式一起来抓取，这里在编译的时候在python.py脚本的末尾添加了这样的正则表达式形式的代码：importreconst_value='{"disable_format":false,"comments":["","","",""],"overwrite":true}'有了这些特性，利用正则表达式不仅能轻松抓取网。