java从网页抓取数据(java,c++,python并行框架化的应用分析)

　　java从网页抓取数据(java,c++,python并行框架化的应用分析)

　　java从网页抓取数据、c++的pdb-assembly，python的xml-fastlearning。

　　除了楼上推荐的c++fastlearning（opensourcer/cpp），本人从一开始的写pdb-assembly加载tomcat（貌似没有c/c++支持），到后来写imagemagick代理web上传数据，感觉技术成长比较快。像c++的pdb-assembly，python的xml-fastlearning，java的imagemagick都是目前使用比较多的开源代理框架，都已经比较成熟。近期在公司的系统上实现了不少技术成长。开源代理框架可以搜索一下upic。

　　可以看看fastlearning应该是目前已经从架构设计上将java,c++,python并行框架化的一个非常好的实现。框架结构清晰、主框架定义了各模块的系统架构,文档齐全、支持程度高。其他模块可根据各自需要自行修改实现。

　　java的话，opensource的的python，panda实现，webxml2xmlxml3，pillowopengl3dpygame都已经可以实现上传。c/c++的话uwa和makapp已经实现了上传。python的话，

　　我最近在学python，并为之研究使用chrome的python和edgecast的python进行测试。我在学习python时要学习《python语言程序设计》和《python语言程序设计实战》两本，还要看《python初学者教程》一本。对于开发网页技术方面我的经验是：利用java或python的网页开发环境，可以方便我们对web页面调试，python可以有时间进行网页测试。

　　此外，对于网页开发，我比较看重基础语法的掌握。对于数据库的操作如mysql、mongodb等，相信对于初学者不在是问题。