可靠的采集神器：查找/插入url标签(组图)

　　可靠的采集神器：查找/插入url标签(组图)

　　可靠的采集神器：egrepegrep-print/keywords/href。aspx:查找/标题href:查找/插入url标签keywords:查找带关键字的标签内容print:发送数据包egrep-n–query:查找/关键字/指定类型/标签href:查找/关键字/指定页码//实测第一种更好，第二种最垃圾。

　　我喜欢用python写爬虫。做爬虫主要涉及的就是你所要找的内容爬虫。

　　对于我来说，我喜欢用python做爬虫，看论文的时候，有些重要的资料比如following这个文章，我只能查到所有作者，那么我就可以通过豆瓣做爬虫。还有有的名人传记，也只能查到名字，只能全部的列表或者资料那就查到所有的内容。之所以喜欢用python，因为python解释性太好了，有空就能写，但是如果是php就要两个月，而且还要学习sql，但python很灵活，通用性非常好。我是零基础，但从半年到一年之后没写过，只看文献查资料。

　　写爬虫最难得就是找到正确的发包途径。我写了4年的爬虫，做了4年的接口队列，如果是设计变量是个问题，变量定义和函数调用是个问题，多点爬虫，并发或者合并都是问题。

　　chrome插件getfuckedhints!你要的都有

　　easyx