当前常用的爬虫爬取数据的方法进行梳理和总结

　　当前常用的爬虫爬取数据的方法进行梳理和总结

　　抓取网页数据有很多方法的，例如：flask框架和sqlalchemy框架；python3.x和python2.x；最终使用的requests模块等等。如果不是很了解爬虫相关内容，强烈建议通过对网页进行抓取后写入数据库。通过python获取外部网页数据也是有的，在这里就不再赘述。我在这里将对当前常用的爬虫爬取数据的方法进行梳理和总结。

　　根据自己的实际情况对应学习起来吧，

　　1、机器学习与深度学习技术详解

　　2、爬虫基础

　　一）：数据获取与预处理

　　3、爬虫基础

　　二）：数据提取

　　4、爬虫技术之评估与溯源

　　5、q&a精选

　　6、机器学习中的问题与分类

　　7、最强的数据爬取链接列表

　　8、实战学习数据采集

　　9、爬虫简单爬取综合网页数据1

　　0、机器学习，

　　1、基于反爬虫的反向代理爬虫工具——xss与xss防御

　　爬虫常用的开发框架就那么多，熟悉下python和requests库。如果要用反爬，那就要算法了，熟悉下lr，mxnet，xgboost，gbdt，gbdt2.0，svm，lr，nesterov，knn，随机森林，bootstraprandomforest，pythonbagging，xgboost，boosting等，熟悉下一些常用的分类算法，缺点就是用起来很痛苦，很难实现。

　　如果对数据库没什么特别的要求，那么，mysql或者postgresql，windows环境下先学下基本的爬虫工具，写个爬虫玩玩，玩的越多越好，后期就别想着开发工具，如果你的目标是实现python爬虫，熟悉mysql,redis，mongodb就够了，需要强大的内存，c#程序员水平要过关。