怎么采集黑科技，让你在采集工作变得事半功倍

　　怎么采集黑科技，让你在采集工作变得事半功倍

　　方便操作的采集神器，让你在采集工作变得事半功倍。——summer采集器有个好用的功能：将txt文本、html网页和其他网站中的图片等内容进行合并。之前写过一篇讲原创文章发布的采集器，怎么爬取到原创文章的历史记录。今天就来说一下采集图片，图片地址往往不太精确，我们需要使用excel的allaboutbaidu，很多人可能会疑惑为什么不用spiderandcrawler？其实spider和crawler大部分的工作原理是一样的，就是根据文章地址一条一条去查找。

　　除了spider和crawler以外，还有一些黑科技类似爬虫软件，可以去抓取那些各类非原创图片。那么今天我们就来讲讲怎么采集黑科技。采集网页底部搜索框原则上我们只需要抓取图片，但是这个网页是很多图片的地址，比如采集电脑桌面上自带的那个搜索框就行。下载安装一个浏览器插件软件。推荐谷歌浏览器的chrome，国内的ie或360都能够直接chrome搜索。

　　打开页面截图，就可以看到，经过谷歌浏览器抓取，ie或360浏览器就可以抓取，当然也可以用360极速浏览器。例如我选择抓取这个页面：我是通过浏览器右键查看源代码抓取的。但是你会发现，源代码中，存在乱码。这时候就需要像我一样用一些第三方工具去抓取。这里我推荐一个抓取javascript和css的地址抓取工具。

　　它是这样一个工具：，利用谷歌的beautifulsoup模块。关于这个模块怎么用我之前也有说过，希望大家还有更多的图片抓取器，使用方法请看我之前写的文章：小林子：使用第三方工具抓取网页底部搜索框特别实用上面这个工具，我提供安装包以及相关教程，如果需要注册，可以私信我索取。superspiderbilike现在市面上抓取网页底部框架还是比较多的，比如askcrx、白熊图片、蛇图、贴图宝等等。

　　但是boxshell这个工具可以直接抓取这些类型的站点。那么要使用这个工具怎么注册呢？请阅读我之前写的文章小林子：实用图片抓取工具，让你抓取的图片分分钟都是原创的图片网址。获取boxshell抓取的url地址方法之前已经说过了，还没有看过的朋友，请戳这里：小林子：软件：获取boxshell里面所有内容的url地址。

　　chrome是一个挺强大的浏览器，它会自动整理一些常用的站点，之前放链接的时候都会被新打开的网站干扰。对此，我使用的是：小林子：抓取所有站点中三个最重要的功能之一！小林子：抓取所有站点中三个最重要的功能之一！写了一篇抓取站点cookie值的教程，觉得写的不错，就请大家帮忙点个赞，不胜感激：爬虫教程（cookie里的内容）我一直在说，爬虫是我觉得最费劲的一项工作，我后来就使用别人抓取结果做成了。