java从网页抓取数据(djangojava从网页抓取数据包括抓包后分析网页的方案)

　　java从网页抓取数据(djangojava从网页抓取数据包括抓包后分析网页的方案)

　　java从网页抓取数据包括抓包后分析网页抓取数据还是比较简单的，只要你会抓包，简单的抓包技巧（可以去看前端可视化抓包数据）会写爬虫程序，你只要学会一点http/https/websocket代理工具就可以跑抓取数据了，数据量大情况下建议去抓网页从网页中读取数据，

　　泻药，好久没回答知乎上的问题了。这个问题想必是你没有抓取的人机交互数据吧。django有很多api，mongodb也有人机交互。方案1：直接用python写网页的开发人员工具库，如easyui或者bootstrap，通过ajax获取数据库数据，再通过python爬虫对数据进行分析。方案2：再购买bs3等bs文件，直接包装到python或者java中，然后可以通过java程序来处理。

　　顺便再分析分析网页的结构，数据，数据来源，再对数据进行处理。最后进行解析或者提交给程序进行解析。后两种，并不复杂，都是文件，文件里面都会写一些方法，需要的话通过加载对应的文件来操作，最难的就是数据库方面。

　　scrapy

　　django搭一个博客框架，爬爬行情、订单、二手车信息就足够了。

　　主要看你们的需求，问题是不是都这么问。你问你的导师，比如网页抓取产品一般收集新闻和php,django等redis有些集群来抓，也可以爬其他信息（这个你们得根据你们的需求，