java抓取网页数据(java抓取网页数据并解析json格式数据的整个流程)

　　java抓取网页数据(java抓取网页数据并解析json格式数据的整个流程)

　　java抓取网页数据并解析json格式数据的整个流程实际上包括如下工作步骤：

　　1、数据存储python自带存储解析结果（json）存储库，

　　2、数据解析java-bson解析结果，主要读取java-jsonx（beautifulsoup）和cjs库；java-bson、cjs属于第三方库，需要依赖安装，详细说明请参考cjs-make，

　　3、数据存储java-jsonx数据操作，主要用于解析，支持从beautifulsoup等导入数据、mongodb、redis等；team分布式文件系统zookeeper和consul都是基于zookeeper操作json格式的。

　　4、运维监控可以看到系统一天内的实时运行情况：

　　在一般公司，可能不需要有一个java抓包工具（那太笨了），做一些实际的并发（线程、锁等）处理。但这没有什么价值，主要还是解析，只有很少的大数据量处理才需要。

　　解析json格式的java任务可以用第三方库java-bson或java-jsonx解析使用pymongo

　　首先你的一般逻辑是不可行的，你需要做到的是尽可能的减少内存占用，然后缩小体积提高性能。java这样的抓包工具，不需要自己写代码，也不需要有操作mongodb，redis，等东西的经验，有专门做这个的工具和库，比如如果是beautifulsoup或者java-xml.beautifulsoup等，不需要用自己写代码的。性能上面，专门做数据包读写，或者抓包工具自身缓存机制或者使用本地缓存，这些都能提高性能。