揭秘华为“天才少年”在研究什么？(图)

　　揭秘华为“天才少年”在研究什么？(图)

　　华为的“天才少年”在研究什么？本期独家专访为你揭秘>>>

　　采集software 实际上属于网络爬虫的范畴，但是与爬虫不同的是，爬虫会分析网页来索引数据采集，采集software 对采集 的数据使用自定义规则。目前我们可以将采集software的用途分为三类（这个类是我自己的，可能不准确）：

　　1、dedicated content采集software，这类软件主要用于文章、博客、论坛资料采集，这方面也做了很多优化，配置比较简单，而且软件的通用规则也内置了（因为大家建这种网站开源系统或者免费系统也是这些）。总的来说，这种软件在文章采集方面确实很灵活方便；

　　2、 通用采集 软件。这类软件采集范围更广，配置规则灵活。可以说这类软件可以采集any网站数据。但是因为这类软件属于通用数据采集，所以规则配置起来比较复杂，不过如果掌握了这类软件的应用，可以说是非常好用的，甚至可以用这个一种用于建立自己的垂直搜索引擎爬虫的软件。

　　3、其他专业应用：我这里只找到了两个应用：舆论监督和企业信息查询。其实这类软件的核心也是爬虫技术，只不过它封装了一层业务规则，用于其他用途。其实除此之外还可以做更多的应用，比如Rss阅读器、Rss网站制作等，等待更多网友发现；

　　网站data 可以是采集 因为，一是数据是纯文本的，也就是可以看到网页的代码数据，二是有一定的规则，至少要遵循html规格;再次，获取这种数据是一件很容易的事情，不需要使用更复杂的技术来实现，比如：网络监控技术，最重要的一点，这种软件开发成本不高，而且应用广泛用过。

　　不过，采集software 还是有一定的技术难点：

　　1、采集的表现：既然是采集数据，那么在单位时间内，采集的数量越多，对用户的好处就越大，所以反正采集软件基本上使用多线程技术。多线程本身并不复杂，但是如何合理地划分采集任务还是有点难度的。目前影响采集性能最重要的因素应该是带宽；

　　2、 采集规则的制定：如前所述，采集software 的规则是由用户决定的。所以采集规则的制定需要用户自己完成，而采集规则无非就是在网页代码中寻找一些合理的符号，告诉软件如何提取数据。但是对于很多用户来说，这些技术并不容易掌握。于是就有了一种可视化采集软件，但是可视化采集只能解决部分问题。对于那些使用Ajax等特殊技术的网站，可视化采集无能为力。为了解决这个问题，需要引入HTTP嗅探器技术，通过嗅探器监控数据，找到真实的URL，进行可视化分析，从而大大提高实现难度。

　　3、采集数据处理：要使用采集的数据，但往往采集的数据格式不同，甚至收录很多干扰性的乱码，所以需要要使用的。最理想的处理方式是通过用户采集设置的规则，直接将数据处理成需要的格式。但是理想和现实还是有差距的，而且很多时候差距还是蛮大的。

　　4、为了让软件更好用，在以上内容的基础上，采集软件还会增加一些更丰富的功能，比如：定时任务、增量采集等。但是这些都不复杂，也比较容易实现