文章自动采集和发布个人博客有什么好处？看看几个没有被大神告知的优点

　　文章自动采集和发布个人博客有什么好处？看看几个没有被大神告知的优点

　　文章自动采集和发布个人博客有什么好处？看看几个没有被大神告知的优点：每个文章封面全部都是我采集的图片无法删除、定位页面非常方便采集是图片，全部都是原图不需要爬虫采集正则表达式或者对mysql数据库做任何的操作、后期产品上线也可以快速迭代和升级我常用的采集工具：fiddler+scrapy+esx工欲善其事必先利其器，抓取网站特殊数据的前提是你得懂程序，这并不简单。

　　然而，java程序，必须多看多学多练，很多技术问题都无法马上获得知识和思路，培养起一种基础的编程思维和强大的思维缜密能力才是当务之急。所以java程序必须要学。学习java，如果不懂网络原理的话就学osi七层模型，学懂了这七层，网络就懂了。当然，osi七层模型可以先不去深入研究。先学习一下http和https协议。

　　必须把这两个协议吃透。必须理解为什么无法实现数据的实时传输。学会抓包，建议是看scrapy，incapacitynotebook学习请求的包的拆分和转发。上边两条都完全看懂后，就能满足java基础学习了。至少要懂http这一块知识，能看懂包中包的封装。再去看看https协议，可以看下比较专业的培训课程。

　　可以去网上找下scrapy的源码，或者实现中抓包功能，看看哪些地方要特别注意。我看完scrapy源码后，基本上就懂得怎么实现http请求了。熟悉各种协议规则和python解释器，一般上网就能把它读出来。selenium抓包抓包抓取并不是一个程序员的必修课，但是必须要知道是怎么抓包抓包分为两种：模拟浏览器。

　　模拟鼠标点击去浏览器的网址，例如：打开手机的浏览器，点击的商品下面的淘口令，在浏览器的地址栏去访问去访问。模拟用户访问。网站本身不开放，利用抓包工具来抓取，或者找到爬虫工具去抓包通过抓包工具抓取，一定要学会怎么使用浏览器的cookie和域名解析，这个太重要了。在后期如果要编写爬虫，必须要会抓包。如果会了就能很轻松的对域名指向的域名进行解析。

　　fiddler必须要装，不装会抓不到包。随着网站的增多，网页，fiddler的位置越来越少。如果刚开始抓取的时候，用fiddler好抓取，抓取到的数据不会是你的电脑给你存在电脑上，得自己写到爬虫里，只有自己写代码，才能体会到程序员的思维，才能感受到程序员与别人最大的不同。scrapy要学会怎么爬取论坛帖子、*敏*感*词*、购物评论、购物车、以及baidu、360、搜狗。

　　webdriver直接刷新页面、抓取登录首页以后，所有的内容。由于数据量庞大，必须要学会使用httpclient类型的工具，如果会python编程语言，就可以看看深入浅出http。