网页表格数据采集器.doc 47页

　　网页表格数据采集器 篇一：网站采集器怎样实现网站数据采集 网站采集器怎样实现网站数据采集 ? 入门篇 网站采集，就是从网站页面中抽取指定的数据，人工方法就是打开网页之后开始Ctrl+C Ctrl+V的进行拷贝粘贴。人工方法采集数据最为确切，但效率最低。所以，期望计算机可以自动化的将人工操作执行，完成数据采集的工作。 计算机将人工的Ctrl+C Ctrl+V自动化执行，需要一定的指导操作，譬如：计算机须要打开那种页面，拷贝什么信息，将拷贝的信息又要粘贴到那里？这些都是人工操作时必须制订的操作，转化到计算机，也必须晓得计算机这样来进行。 所以，需要配置一些规则来指导计算机的操作，这个规则的组合在网路矿工中我们称之为“采集任务”。通过前面的描述，我们晓得采集任务中起码要包括网页地址、网页的拷贝数据的规则。 网页的地址很容易理解，每次我们打开一个网站时，首先都是要输入一个地址，这个地址称之为“Url”，输入Url后，我们就可以浏览一个页面了。 拷贝数据的规则：人工拷贝数据很简单，人工智能么，很容易辨识须要采集的数据，但对于计算机，就会有些难度，计算机不知道想要采集什么数据？必须由人工告诉计算机采集数据的规则，譬如：我们须要采集文章标题，那么就须要告诉计算机怎样在一个网页中辨识文章标题，并确切的采集下来。在这个指导的过程中，有两种方法计算机可以理解（当然不排除还有其他的形式，譬如：计算机智能化）： 1、 按照字符串获取的规则来指导计算机采集数据：一个网页是由浏览器对一个大字符 串进行解析后展示的结果，这个大字符串就是网页源码，任何浏览器都可查看网页源码，打开网页源码后，在网页源码中一般（注意：是一般）都可以找到网页显示的内容，自然文章标题也可以找到，找到文章标题后，告诉计算机要采集这个标题数据，规则就是：从那个字符开始获取到哪个字符结束，举个简单事例：“