传送门：阿里文学大站的分析篇-杨文超

　　传送门：阿里文学大站的分析篇-杨文超

　　通过关键词采集文章采集api，如阿里文学api，可以爬取网络上99%以上的文章，是自动抓取，不需要人工干预。爬取完成后会生成一个页面地址，将地址发送到服务器。服务器返回网页代码给爬虫，进行定向爬取。定向方式可以是搜索引擎（百度、谷歌）爬虫，可以是搜索者自行爬取。客户端将抓取到的页面信息（每篇文章的标题、作者、标签等）用各种方式封装成自己的二进制数据，方便自己的下一步分析和处理。传送门：阿里文学大站的分析篇-杨文超的文章-知乎专栏。

　　===推荐另一篇答案，基于豆瓣的爬虫技术，

　　豆瓣大站的抓取？？有编程基础么？有技术手段么？其实我觉得爬虫或者http服务器爬取的成本不大，但要和爬虫你对接上，要从你那整合数据。（当然人人通过抓包发数据应该不需要这些）但运营的成本你必须有，或者可以有人专门帮你抓。找你抓，不需要你自己搞（就算他上班你自己有个闲钱就解决问题了）找专业公司做，毕竟人家有稳定的http服务器。人家上班天天盯着，弄不好可能爬虫被抓一样抓不出来。

　　抓到豆瓣首页的每一个连接，用http去连接豆瓣的评论列表，注意抓到的第一个里边会有一个编号，