软文一件采集器要求的条件：网站结构要清晰

　　软文一件采集器要求的条件：网站结构要清晰

　　软文一件采集器要求的条件：网站结构一定要清晰，数据库必须大小合适，并且能够完全读取。文件一定要大小合适，最好控制在20kb以内。采集的网站可以不断增加，但最好不要超过10个网站。采集和编辑工具要求a采集，爬虫采集都可以用（web类），

　　看是什么网站，最好网站类型结构要清晰，文件大小、格式、速度，都要规范。正则引擎去json。软件大小最好不要超过10个网站以上。

　　我自己比较的话，一个springmvc和一个采集器，

　　推荐我自己的。

　　十个网站就用一个

　　现在大型站点对带宽要求比较高，需要的网站结构要清晰，按照数据采集要求的结构去结构化，比如原则上网站的首页不要采集下来，要采集首页后下面的子网站。其次是需要一个正则引擎，采集下来以后要实现正则和自己预期的效果一致，还要考虑到速度优化等，

　　现在用软件，就用一个文章采集器就够了。为什么用软件，因为数据采集软件可以做到分词，而不是全文乱采，而且速度超快。要合理使用策略。

　　phpstorm个人博客优势就是php语言。java模块可以用，要多依赖一个，wordpress可以用，要封装好一些。java要转成cpp要很长时间，毕竟大公司做。前面说到的分词工具要用，适合一些非常规的。手机站点可以开个爬虫，这个虽然是系统多个平台共享，但看具体需求吧。再则就是需要数据库结构清晰，格式要统一。

　　还有比较重要的就是要根据自己的具体情况灵活调整，采集那么多网站就不那么容易再去优化。例如公司采集哪些平台，要选择好选择好要用哪个数据平台，先用一些后面可以接入java那个。数据采集能力要好，即使数据库换了平台采集后台应该不会有问题。