自学3个月学到107个采集方法，你知道吗？

　　自学3个月学到107个采集方法，你知道吗？

　　关键词采集，这个其实有很多种方法可以实现。1.用爬虫，抓取各大网站的所有自然段2.编写爬虫程序，爬取网站的所有新闻详情页3.如果比较细，可以编写这些网站的爬虫程序。爬取全部的新闻页。这些方法都可以用。至于新闻详情页的策划，其实没有特别好的方法。你可以打开各大新闻网站，找到那些要采集的，比如今日头条。然后按f12，选择network，然后从下往上找，有专门的图片新闻列表。这个要找这些。另外一些其他的方法，比如聚合了101家报纸的新闻列表，全部采集了。可以参见这个。

　　伪装设备码，我们一般用固定ua来伪装，采集操作放在一个运行中的程序。最后做好词库和主关键词库即可。一般来说没有很难的。

　　我也是零基础，自学3个月了，目前总共学到了107个采集方法总结了出来，分享给大家共勉！下面从采集小白到黑客掌握十几个采集的方法！作者：知乎-玲珑剔透，童瑶。

　　一、传统的采集方法有哪些？1.入门软件开发-利用静态分析软件。这里要说到前两年比较火的网站分析工具aspe等。以及更多优秀软件，目前主流的主要是aspe和php（曾今的phptrojango等）静态分析工具。2.入门，也就是googlegroup但是不要小看这类的，正是它简单易操作可操作性强才获得热度，采集效率高，缺点就是采集的量很小，不要说上亿，就是上百万也非常吃力，也就是像10万的量级，还得看前端的承受力等。

　　采集方法基本是按ip、ua、session、cookie来找的（首先得有1080p的高清视频）。3.找网站直接爬，或者ping。当然，这个ping如果是电信ip或者其他的ip后面的那个ping非常难ping的，没有技术要求，ping太高端了比方ping500米，那个随便破解ping的是给狼狗网做api接口的。

　　如果怕ping太高会破解或者不ping。那就ping地址+域名+ping（首先得有ip地址）。再ping多久我忘了。4.自己编写爬虫，目前比较好的是python，当然也有javajavapython的，但是现在python用的多些。5.想采访大牛？自己采好了，和各种编程比较。有无公司的采访需求。6.搜索+爬虫如果还想进阶学习，不想记那么多攻略，有机会的话可以谈谈攻略怎么找好用。

　　下面介绍

　　1）googlegroup那就不用多说了，注册的账号很多，连登陆都很方便，还是一个个按规则采集，也很好用。

　　2）爬虫编程，先找一个很简单的网站，编程来写，然后小规模测试完成后，慢慢地添加新的页面，逐步增加到需要的量级。

　　3）用python语言学习有机会参加一个云采编程网站（想好要编写的代码，再从别的网站调用过来）。