新闻采集软件

　　新闻采集软件

　　新闻采集软件是依据有一定网站格式化结构的网页来进行工作的，将网站里的文章/新闻等内容采集到本地， 主要功能 根据用户自定义的任务配置，批量而精确地抽取目标网路媒体栏目中的新闻或文章，转化为为结构化的记录(标题，作者，内容，采集时间，来源，分类，相关图片等)，保存在本地数据库中，用于内部使用或内网发布，快速实现外部信息的获取。 主要技术 新闻采集器核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为物体前人积累的经验的具象和升华。简单地说，就是从不断重复出现的风波中发觉和具象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。 所以要使新闻采集器才能运行，目标网站必须具备重复出现的特点。大多网站都是动态生成的，这样才会使同一模板的页面收录相同的内容，新闻采集器正是借助这种相同的内容来定位采集数据的。 新闻采集器中的模式大多不是程序手动发觉的，现有几乎所有的新闻采集器产品都须要通过人工来定义。但模式本身是个很复杂，很具象的内容，所以所有的开发者精力都花在如何使模式定义更简单，更准确，这也是新闻采集器竞争力的评判标准。 但我们怎么来描述模式呢，当前技术主要有两种方法： 正则表达式定义和文档结构定义。