解决方案:模拟浏览器行为用python爬虫开发系列1:基础知识

　　解决方案:模拟浏览器行为用python爬虫开发系列1:基础知识

　　自动识别采集内容，编辑数据自动跳转，

　　找当搜索引擎，

　　yobike有一个手机爬虫引擎，想要爬取的链接直接给你跳转过去，数据抓取效率还挺高的，可以试试。

" />

　　如果只想搞个动态网站，直接使用httpscrapy就够了，非要自己采集，那就要好好考虑，根据你想要抓取的内容，列好采集规则，然后再写爬虫。关于采集规则，

　　爬虫,就是模拟浏览器行为

　　用python爬虫开发系列1:基础知识爬虫基础知识--python3爬虫基础知识

" />

　　firefox里面有个getspiderhandling，里面详细的说明了怎么写自动爬虫。

　　需要用到一些自己常用的第三方库，比如requests、beautifulsoup等，但是每种不同的脚本效率不一样，我的想法是先从最简单的功能开始写，比如只需要抓取一个url之类的，然后是循环文本，有一个循环的功能测试能不能抓取，

　　写了篇文章，

　　刚接触爬虫，应该从两个方面学习，一个是爬虫的语言，另一个是爬虫的框架，两者结合才能真正做好爬虫。没想明白这两点之前，自己随便写写，基本很难有进步，最多先会写个爬虫，但不能掌握一个真正的爬虫。