抓取网页数据(抓取网页数据用python，其实你可以去看一下)

　　抓取网页数据(抓取网页数据用python，其实你可以去看一下)

　　抓取网页数据用python，

　　其实你可以去看一下stackoverflow：你说的这些工具都在这个列表里

　　谢邀，楼上说的挺全面了。补充下，想快的话，可以试试集搜客的“快速提取百度文库、图库、资料库..."，记得结合云采集使用，比如文档类型。还可以考虑精准采集百度首页，但是精准度需要用户去验证。

　　我建议用navicat。navicatserverdb可以自己写配置，可以写clientserver，

　　除了爬虫，还可以试试在线工具。你可以试试：“把难题解决”。

　　推荐使用爬虫去爬取数据，有效提高数据分析等工作效率。目前市面上比较流行的如scrapy框架以及mongodb可用于实际的数据爬取。mongodb的数据存储有很多种方式，通过定制的mongodbconnector来实现数据收集，可达到万级以上的数据量。如果需要数据清洗等工作，通过redis也是可以实现的。

　　drill相当强大，

　　pymongo可以试试，是很通用的库。

　　金蝶的bdp不错，大数据、实时计算一应俱全。

　　个人建议mongodb(主要是对象存储)。python现在有很多好用的数据存储，如sqlalchemy、sealedb、redis、pymongo。