python网页数据抓取(python网页数据怎么用解决一些其他问题的问题？)

　　python网页数据抓取(python网页数据怎么用解决一些其他问题的问题？)

　　python网页数据抓取根据知乎上各位大神的意见，后面又爬了多次。有的是电脑配置跟不上，后面有一次的配置是网速没问题，但是获取的数据较少，这次是和爬虫没有关系，就是看下能不能爬虫解决一些其他的问题。首先是先处理下数据库，python用sqlalchemy吧（网上有很多教程可以查，这里主要是写个python环境）。

　　然后就是写爬虫吧。这里用的是python最火的scrapy,因为初学者比较好学。网上有许多教程可以查，个人比较喜欢看这里。另外个人使用最多的是scrapy，比较简单。django也可以用，但是前提你了解scrapy后，弄懂流程，弄不懂还是要学scrapy。实际上网上找了半天有一些教程说scrapy实际上配置较麻烦。

　　可以先从scrapy学起。最主要的就是request的处理，学习了selenium就觉得不难。学python网络方面，学会怎么用网络api，基本也没有太大问题。比如爬下b站的视频就好。python没有解释器，虽然能用ide。比如用pycharm写写脚本比vim友好。网上找了点学习教程，比如webdriver,webdriver教程，一句话讲django使用方法，讲解的还是不够详细。

　　个人觉得，学习需要同时学习两种技术，比如ui交互，比如网络数据转发。然后研究什么后台交互数据，一般而言github或者segmentfault的提问，都是有价值的。现在也用django后台把b站的视频放在网站上，尽管没有放全（都不知道放哪里），以后会再分享一个教程，主要是学习models的使用，最后会简单写爬虫。最后记得复习下java的面向对象，还有c的继承。最后，祝学习愉快~。