pythonweb开发:基于redis采集网页的tornado模块postman简单方便

　　pythonweb开发:基于redis采集网页的tornado模块postman简单方便

　　文章采集接口如下rssfeed利用分词lucene进行聚合urllib接受url，并且返回url最近的搜索页，和最近的搜索keyword组合将关键词组合成不同的单独字符串输出。pagequery将返回当前页面的内容code生成具体数据pagequery可以生成view向页面发送所有请求由httpclient发起请求并完成传输最后itemcontent返回给browserpython代码的话看我的shell教程吧pythonweb开发:基于redis采集网页。

　　tornado模块

　　postman简单方便。

　　fiddler加wireshark

　　okhttp呗，

　　postman和urllib2都不是特别推荐。除非你准备把爬虫做成离线模式，并且很多次刷新抓取。可以试试用qt，学习成本不高，特别方便，web端和手机端都可以做。

　　chrome的proxymanager

　　pip这种需要去下载很多包的就别用python了吧...idle就是ide啊，建议学学一些ide如sublime，pycharm，vs2013，

　　python的tornado可以，不过也不是很好，而且现在有很多小框架都可以爬。

　　想进一步做成网页是做不到了，能用浏览器里的或者本地浏览器抓，抓取代码自己修改，单页面爬取也是可以的，虽然定制性也不算太高，但是胜在方便，手机的话，可以用redis或者mysql实现单页面爬取。

　　java+redis或者mysql