分享:爬虫开始爬取图文的话，我只知道可以把图片爬下来

　　分享:爬虫开始爬取图文的话，我只知道可以把图片爬下来

　　关键句采集原创，如图文类、pdf类。整个过程要注意网站的结构设计，要让爬虫爬起来比较轻松，即便只是登录我们网站一个小小的用户，只要会翻，就可以快速爬到我们要的内容。以图文为例，我们需要做的就是统计图文来源。每一篇文章都有一个来源网站，来源网站可以根据具体情况选择是否采集，然后将来源网站分享出去。这个分享出去的工作是比较简单的，就是我们可以让爬虫尝试爬取更多的网站。下一篇爬虫开始爬取图文。

　　用数据采集的话，我只知道可以把图片爬下来。1.加user-agent2.user-agent+模拟登录3.user-agent+图片地址=图片4.图片地址+文字=文本这个方法适合方便爬取的图片和内容。特点是可以爬取图片，即使是自己的图片或者别人爬过的，统计该图片点击率，也可以爬到，具体推荐网站推荐。

　　几乎所有数据采集包括大量图片数据，都可以用网页+flash来完成。网页采集：这个可以看一些大数据采集的教程，但这并不是那么容易，必须学习基本算法和代码。其中，爬虫的效率受时间限制，能爬下来要保证每一秒钟能到尽可能多的数据。比如这个。ua识别需要时间，如果用flash的话，那么还要有一个swf文件上传，aa采集端口等等。

　　其实普通爬虫只要有经验，十几分钟就可以爬到手机端图片和短信数据，如果用大数据采集方法，则需要有采集经验，在网页端采集和爬取，然后保存到本地。flash的成本低，可以只要源码不要页面，也可以把aa在手机端滚动，并抓取。-其实，其它类型的爬虫，也可以做爬虫网页采集，主要看你爬什么数据的网站，ua识别有时候更重要一些，然后就是浏览器、客户端本身对ua的识别，如何保证同一浏览器，同一用户，同一时间去抓取同一页，是爬虫必须要解决的问题。

　　有一个好办法，就是浏览器装chrome浏览器插件，这个可以去某宝购买安装包，便宜一些。这个效率比ua识别还低。