采集免费文章网站的爬虫需要多少？分多少个模块？

　　采集免费文章网站的爬虫需要多少？分多少个模块？

　　采集免费文章网站的爬虫。一个爬虫需要多少cpu？分多少个模块？接下来的日子，你们将面对各种各样的计算问题：特征抽取，请求参数计算，人力检查，不同网站之间的同步，数据相互流转等等。因此你们要学习几门编程语言，最好是python或者c++（尤其是python）。能解决问题的算法才是好算法。对的，你要会写简单的程序，能够把代码快速的交付给测试部门进行分析测试。

　　测试时用的软件肯定是需要测试用例的。还有一点可能很多人容易忽略，同一个网站的多个模块数据可能不一样，至少目前你的库存中肯定没有对此非常熟悉的人。这些数据分散在多个java，python，等的包中，要能够快速分类。文章质量的控制。文章质量的高低是能否分发的关键。如果你网站的文章足够多，那么想象一下，全国可能有大几万个“可能能发现新大陆”的地方，编写爬虫的人必须找到用户喜欢阅读的内容。

　　现在市面上编写爬虫的有各种各样的库，你总有一种库，可以基于此库实现一些抽象好的东西。实现代码是有可能的，把内容整理出来，然后通过人工的手段来过滤高质量的文章，好好精耕细作。不能每天增加太多机器。长此以往，文章质量不断在提高，但可能随之产生大量冗余的数据，要及时清理以免垃圾数据淹没了正常用户的可用文章。

　　根据发布情况来调整分发算法。每天的大量发布将会导致一个有价值的文章从量上来说无法提升，这将是你们的重点要关注的数据。重点关注质量高的文章数据，还有较长时间发布的数据。每周/每月进行分发/推荐。这对于量级很小的网站还是有很大价值的。收集反馈信息，根据数据做决策。例如：我们可以通过人工的手段，收集到有价值的文章的评论信息，把所有对文章有意见的评论都聚集起来，把信息链接到文章评论看看其他人对文章的评价。

　　对于网站来说，用户的评论有可能跟文章的价值相关，也有可能不相关。如果你爬虫人数够多，你可以得到来自你用户所有评论的相关信息，那么在推荐或者其他任何算法中都能根据你给他们的评论来决定。那么这种算法是不是只能作为推荐系统的条件候选人呢？不是。可以用来筛选评论质量较差的用户，提高质量较高的评论。编写反馈系统，不断地反馈信息。

　　例如：你也可以聚集起来所有用户对文章的推荐或者拉黑了某些用户。先列出大致的困难，以此为开始做个成功的爬虫，这样会能够发挥出更多的潜力。很多关键的东西，最好还是做到尽可能快的交付给程序员来完成。最大化的压缩你的人力浪费。最大化地挖掘现有网站的数据价值。保证质量，提高效率。尽可能快地发布新文章，保证质量，拉。