采集自动组合(采集自动组合站点？实现不难，难的是拓展的思路)

　　采集自动组合(采集自动组合站点？实现不难，难的是拓展的思路)

　　采集自动组合站点？实现不难，难的是拓展的思路和收集站点数据的多少。主要可以分三个部分来收集，第一是站点的聚合，也就是收集知乎上问题，然后合并成一个问题，聚合成不同的页面。第二是自己收集关键词，可以利用百度的自动问答工具。一方面要记住关键词，每个问题最少要有一个关键词，然后有相应的描述和回答，其实这些不需要人去收集也容易。第三是页面的聚合。其实你可以考虑统计站点的页面数据并且自动在后台转换成一个可用的页面数据。

　　用baiduspider抓也行，专业的站长站也行。我简单说一下baiduspider抓数据的思路。搜索引擎baiduspider有两种抓取模式，循环抓取和加载方式。循环抓取是指用户输入的关键词会自动被抓取一段时间，然后关键词再次出现时从数据库中获取相同关键词的页面自动抓取，一般循环爬几千个页面就有较大量的数据抓取的量了。

　　加载方式是指抓取的关键词词之间有关联性。例如有的词是书写_双眼皮_-_全切双眼皮，那么这个词的关键词可能带有其他词，例如“双眼皮-全切双眼皮”，百度会抓取这个词的全切双眼皮的页面。加载方式抓取的优势是速度快，缺点是比较耗资源，后续要做太多扩展，建议爬到自己想要的页面后自己存成md5值存数据库。而爬取关键词词之间的关联性是比较耗资源的，百度抓取这些关键词需要的时间就和baiduspider自己爬到页面的时间差不多了。

　　爬行本身的机制是获取到的页面会按次序关联，然后每抓取一次，都会爬去更新最新页面，这样就会有大量的关键词词之间的页面没有直接关联，导致关键词的同意性词比较多的词无法抓取。搜索引擎baiduspider抓取速度是根据页面抓取量决定的，爬行速度越快效率越好，pc端会比移动端慢些，而这些因素又是主观性的。有些问题是可以用变通的思路解决的，比如在提问的时候添加关键词的话提问的排名就会快些，这时候可以用这种方法来加速抓取。