内容采集器(内容采集器,以前写的技术博客文章:全面剖析phantomjs2自动化爬虫)

　　内容采集器(内容采集器,以前写的技术博客文章:全面剖析phantomjs2自动化爬虫)

　　内容采集器,以前写的技术博客文章:全面剖析phantomjs2自动化爬虫2.4.1html数据提取

　　为什么不去写python爬虫爬一下

　　不会python，没有图像处理基础，

　　的确是蛮大的一个工程量。建议先看看有哪些公共库，然后再慢慢用就好了。

　　想完成这么一个项目，至少先搞明白phantomjs吧，按照你的要求你估计至少需要多线程的应用，图像处理库，抓包等，整个任务复杂度在10^-5以上。再往下，依次是openssl，c++socket编程，socket编程基础，linuxshell，unix语言，nginx等。最后才是项目算法实现，但是结果发布完毕的时候估计这些库你已经忘的差不多了。想一步到位，先把python学好吧。

　　刚刚也搞了一下，拿python写，通过phantomjs抓取，也是用了这个库的图像处理，写了一个post请求，需要注意的，图像数据要进行清洗，完了就是爬虫的实现了，另外用一个网页的场景弄一下图像识别（貌似是给汽车图像点颜色），虽然很有趣，也在学着，爬虫和这个关系不是很大，题主不要被误导了，虽然没有源码，不过有几篇综述文章，你可以看看。

　　看到几个例子1.[nasa]phantomjsseed+samplingdifferentdatasetsonurl2.[url101]用gmail抓附用户信息的经典爬虫[取自真实网站]。