Python库大全

　　urlib -网络库(stdlib)。requests -网络库。

　　grab -网络库(基于pycurl)。pycurl -网络库(绑定libcurl)

　　ullib3 - Python HTTP库，安全连接池、支持文件post、可用性高。httplib2一网络库。

　　RoboBrowser -一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。

　　MechanicalSoup一个与网站自动交互Python库。

　　mechanize -有状态、可编程的Web浏览库。socket -底层网路插口(stdlib)。

　　Unirest for Python - Unirest是一套可用于 多种语言的轻量级的HTTP库。

　　hyper - Python的HTTP/2客户端。

　　PySocks - SocksiPy更新并积极维护的版本,包括错误修补和一些其他的特点。作为socket模块的直接替换。

　　网络爬虫框架

　　grab -网络爬虫框架(基 于pycur/multicur)。

　　scrapy -网络爬虫框架(基 于twisted)， 不支持Python3。

　　pyspider -一个强悍的爬虫系统。cola-一个分布式爬虫框架。其他

　　portia -基于Scrapy的可视化爬虫。

　　restkit - Python的HTTP资源工具包。它可以使你轻松地访问HTTP资源，并围绕它完善的对象。

　　demiurge -基于PyQuery的爬虫微框架。HTML/XML解析器

　　lxml - C语言编撰高效HTML/ XML处理库。支持XPath。

　　cssselect -解析DOM树和CSS选择器。pyquery -解析DOM树和jQuery选择器。

　　BeautIFulSoup -低效HTML/ XML处理库，纯Python实现。

　　html5lib -根据WHATWG规范生成HTML/ XML文档的DOM。该规范被用在现今所有的浏览器上。

　　feedparser一解析RSS/ATOM feeds。

　　MarkupSafe -为XML/HTML/XHTML提供了安全通配符的字符串。

　　xmltodict-一个可以使你在处理XML时觉得象在处理JSON一样的Python模块。

　　xhtml2pdf -将HTML/CSS转换为PDF。

　　untangle -轻松实现将XML文件转换为Python对象。清理

　　Bleach -清理HTML (需要html5lib)。sanitize -为混乱的数据世界带来端午。文本处理

　　用于解析和操作简单文本的库。

　　difflib - (Python标准库) 帮助进行差异化比较。

　　Levenshtein一快速估算L evenshtein距离和字符串相似度。

　　fuzzywuzzy -模糊字符串匹配。esmre -正则表达式*敏*感*词*。

　　ftfy-自动整理Unicode文本，减少碎片化。.自然语言处理

　　处理人类语言问题的库。

　　NLTK -编写Python程序来处理人类语言数据的最好平台。

　　Pattern一Python的网路挖掘模块。他有自然语言处理工具，机器学习以及其它。

　　TextBlob -为深入自然语言处理任务提供了一致的API。是基于NLTK以及Pattern的巨人之肩上发展的。

　　jieba-中文动词工具。

　　SnowNLP -中文文本处理库。

　　loso-另一个英文分词库。浏览器自动化与仿真

　　selenium一自动化真正的浏览器(Chrome浏览器，火狐浏览器，Opera浏览器， IE浏览器)。

　　Ghost.py -对PyQt的webkit的封装(需 要PyQT)。

　　Spynner -对PyQt的webkit的封装(需要PyQT),

　　Splinter -通用API浏览器模拟器(seleniumweb驱动，Django顾客 端，Zope) 。多重处理

　　threading - Python标准库的线程运行。对于I/0密集型任务太有效。对于CPU绑定的任务没用，因为python GIL。

　　multiprocessing -标准的Python库运行多进程。

　　celery -基于分布式消息传递的异步任务队列/作业队列。;

　　concurrent-futures一concurrent-futures模块为调用异步执行提供了一个高层次的插口。

　　异步网路编程库

　　asyncio- (在Python 3.4 +版本以上的Python标准库)异步I/O, 时间循环，协同程序和任务。

　　Twisted一基于风波驱动的网路引|擎框架。Tornado -一个网路框架和异步网路库。pulsar - Python风波驱动的并发框架。

　　diesel - Python的基于红色风波的I/O框架。gevent -一个使用greenlet的基于解释器的Python网路库。

　　eventlet -有WSGI支持的异步框架。

　　Tomorrow -异步代码的奇妙的修饰句型。队列

　　celery -基于分布式消息传递的异步任务队列/作业队列。

　　huey -小型多线程任务队列。

　　mrq - Mr. Queue -使用redis & Gevent的Python分布式工作任务队列。

　　RQ -基于Redis的轻量级任务队列管理器。simpleq--个简单的，可无限扩充，基于Amazon SQS的队列。

　　python-geARMan一Gearman的Python API。

　　云计算

　　picloud -云端执行Python代码。

　　dominoup.com -云端执行R，Python和matlab代码网页内容提取

　　提取网页内容的库。

　　HTML页面的文本和元数据

　　newspaper -用Python进行新闻提取、文章提I取和内容策展。

　　html2text -将HTML转为Markdown格式文本。

　　python-goose一HTML内容/文章提取器。lassie -人性化的网页内容检索工具WebSocket

　　用于WebSocket的库。

　　Crossbar -开源的应用消息传递路由器

　　(Python实现的用于Autobahn的WebSocket和WAMP)。

　　AutobahnPython -提供了WebSocket合同和WAMP合同的Python实现而且开源。

　　WebSocket-for-Python - Python 2和3以及PyPy的WebSocket客户端和服务器库。DNS解析

　　dnsyo -在全球超过1 500个的DNS服务器.上检测你的DNS。

　　pycares - c-ares的插口。c-ares是 进行DNS恳求和异步名称决议的C语言库。

　　计算机视觉

　　SimpleCV -用于照相机、图像处理、特征提取、格式转换的简介，可读性强的插口(基于OpenCV)。

　　Flask是一个轻量级的Web应用框架,使用Python编撰。基于WerkzeugWSGI工具箱和Jinja2模板引擎。使用BSD授权。

　　Flask也被称为"microframework" ,因为它使用简单的核心，用extension降低其他功能。Flask没有默认使用的数据库、窗体验证工具。然而，Flask保留了扩增的弹性，可以用Flask-extension加入这种功能: ORM、窗体验证工具、文件上传、各种开放式身分验证技术。

　　Web2py是一个用Python语言 编写的免费的开源Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩充、安全以及可移植的数据库驱动的应用，遵循LGPLv3开 源合同。

　　Web2py提供一站式的解决方案，整个开发过程都可以在浏览器上进行，提供了Web版的在线开发，HTML模版编撰，静态文件的上传，数据库的编撰的功能。其它的还有日志功能，以及一个自动化的admin插口。

　　4.Tornado

　　Tornado即是一.个Web server(对此本文不作阐述)python分布式爬虫框架，同时又是一个类web.py的micro-framework,作为框架Tornado的思想主要来源于Web.py,大家在Web.py的网站首页也可以见到Tornado的大鳄Bret Taylor的那么一段话(他这儿说的FriendFeed用的框架跟Tornado可以看作是一个东西) :

　　"[web.pyinspired the] Web framework we useat FriendFeed [and] the webapp frameworkthat ships with App Engin...”

　　因为有这层关系，后面不再单独讨论Tornado。

　　5.CherryPy

　　CherryPy是一种用于Python的、简单而特别有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码联接，其功能包括外置的剖析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能python分布式爬虫框架，可与运行在最新版本的Python、Jython、 Android上。