内容采集可以先把采集内容分类，比如小说列表->小说分类

　　内容采集可以先把采集内容分类，比如小说列表->小说分类

　　内容采集可以先把采集内容分类，比如你是想采集小说，你就可以分为男频，女频，小说等等.当然你也可以做二次分类比如你分为温暖和伤感等，这里就涉及到多少个页面，页面用多少个url.有人说多了的就不好了，但是没关系，你要知道对于蜘蛛，要找的一定是最短路径，不是最长路径，所以采集百度已经给你铺好的路了，就比如小说列表-->小说分类。目前全文采集都很简单，你直接登录百度去采就可以了，包括你在网页中填写的信息都是秒查的。

　　1、做文本搜索

　　2、做链接产品

　　3、做文本聚合如今的技术方向已经不仅仅局限于内容的采集，一些新技术也逐渐开始探索，比如文本文字识别，语义分析等等。

　　这个不是靠10分钟自学就能上手的，你所需要掌握的知识的广度是一回事，但是深度是另一回事。这边我可以先给你一点技术层面的知识，数据量较大的情况下，这需要你掌握一些框架的建设。假设你要采集的单个网页需要10页，比如百度文库的文档的页数在500页到800页，再采集就需要对每一页都要做针对性的处理，你首先得知道每一页的名称，你能判断出来每一页的文档框架结构，比如什么图片，什么链接，什么模块等等。

　　针对上述这些，你需要一个模块架构出来，然后通过某种方式把数据汇总起来，方便你用。我是这么理解你这个问题的，你先能把这个模块架构整理清楚，然后再针对性的采集你的网页，这样能减少或者避免卡点，那些不合理的采集算法和技术，简单来说，不要对标杆网站采集，抓取一个平台的大部分就足够了。当然这也是在你网站量达到一定量级的情况下。