网站内容抓取工具(网站内容抓取工具scrapy的爬虫库/html爬虫框架)

　　网站内容抓取工具(网站内容抓取工具scrapy的爬虫库/html爬虫框架)

　　网站内容抓取工具scrapy的爬虫库/html爬虫框架jsoup针对不同网站采用不同的爬虫处理（变量字符串处理，循环，

　　你用的是什么语言？python还是java？

　　建议用jsoup

　　手机转来的，不要嘲笑我的语言背景，

　　个人觉得libuv和scikit-learn都不是特别好用，

　　twisted不错。还能做分布式服务，关键是很快，语言可以是python也可以是java，go。

　　题主可以看看这篇文章，希望对你有所帮助。

　　python实现http请求的一个主要原因是http协议的一致性，是url层次的“一致性”要求，这可以理解为整个http的“tcp”操作在tcp协议之上，当然为了满足不同的协议实现方式，一般还会有proto层，这种方式不仅简化了tcp的层次规范，还解决了不同的协议之间的数据格式问题，以便共同完成这个“tcp”的任务。

　　python不是有个库httplib吗？

　　pipeline

　　强烈推荐python的http包libev，去掉python内置的tcp层。极速。大部分用http库来进行http请求的web开发者，就是嫌麻烦，想直接把请求中的状态码分类简化。

　　我有两个简单版本，