SiteServer CMS信息采集概述
优采云 发布时间: 2020-08-27 15:04SiteServer CMS信息采集概述
Web是一个巨大的资源宝库,目前页面数量已超过400亿,每小时还以惊人的速率下降,里面有你须要的大量有价值的信息,例如潜在顾客的列表与联系信息,竞争产品的价钱列表,实时金融新闻,供求信息,论文摘要等等。 可是因为关键信息都是以半结构化或自由文本方式存在于大量的HTML网页中,很难直接加以借助。
SiteServer CMS 信息采集功能的主要目标就是解决网路信息的采集问题,系统通过一些订制的采集逻辑,自动从指定网站或数据库中获取内容并保存到网站中。
一、主要功能
SiteServer CMS 提供强悍的信息采集功能模块,用户只须要告诉系统目标网页并简单地设置页面规则,很快就可以直接得到所须要的数据了。
除了典型的Web页面信息采集外,系统还提供数据库信息采集与单文件页采集功能:
Web页面信息采集用于手动从指定网站中获取内容;
数据库信息采集用于手动从指定数据库中获取内容;
单文件页采集用于将指定网页采集到本地的对应文件中。
二、系统特征
结果数据高度确切
对目标网站进行信息手动抓取,支持HTML页面内各类数据的采集,如文本信息、图片、附件、日期等
用户对每类信息自定义来源与分类
可以下载图片与各种文件
支持定时任务,可以与SiteServer CMS 定时模块相配合,定期抽取目标网站
支持记录惟一索引,避免相同信息重复入库
支持智能替换功能,可以将内容中嵌入的所有的无关部份如广告消除