文章采集组合工具(《优采云采集器电脑版》的采集程序有支持远程下载图片文件)

　　文章采集组合工具(《优采云采集器电脑版》的采集程序有支持远程下载图片文件)

　　《优采云采集器电脑版》优采云软件的采集程序支持远程下载图片文件，支持网站登录后信息采集，支持检测文件真实地址，支持代理，支持防盗链的采集，支持采集数据直接存储，模仿手动发布等诸*敏*感*词*。

　　软件功能

　　优采云采集器（）是一款功能强大且易于使用的专业采集软件，拥有强大的内容采集和数据导入功能，让您采集@采集的任何网页数据都发布到远程服务器，自定义用户cms系统模块，无论你的网站是什么系统都可以使用优采云采集器@ >。

　　系统自带的模块文件支持：wind news文章、动态easy文章、动态网络论坛、PHPWIND论坛、Discuz论坛、phpcms文章、phparticle< @文章、LeadBBS论坛、魔幻论坛、Dedecms文章、xydw文章、京云文章等模块文件。

　　更多cms模块请参考制作及修改，或去官方网站与大家交流。同时也可以使用系统的数据导出功能，利用系统内置的标签将表采集对应的数据的字段导出到本地任意Access、MySql、或 MS SqlServer。

　　用Visual C#编写，可在Windows2008下独立运行（windows2003自带.net1.1框架。

　　优采云采集器最新版本是2008版本，需要升级到.net2.0框架），如果你在Windows2000、Xp和其他环境请先去微软下载.net framework2.0或更高版本的环境组件。优采云采集器V2009 SP2 4 月 29 日。

　　数据采集​​原理：

　　优采云采集器如何抓取数据取决于你的规则。如果要获取某个版块的网页中的所有内容，需要先提取网页的URL，也就是提取的URL。程序根据你的规则爬取列表页面，从中分析URL，然后爬取获取URL的网页内容。

　　然后根据你的采集规则，分析下载的网页，分离保存标题内容等信息。如果选择下载图片等网络资源，程序会分析采集收到的数据，找出图片、资源等的下载地址，下载到本地。

　　数据发布原则：

　　我们下载数据采集后，默认保存在本地。我们可以通过以下方式处理数据。

　　1、什么都不做。因为数据本身存储在数据库中（access、db3、mysql、sqlserver），如果只是查看数据，可以直接用相关软件打开。

　　2、Web 发布到 网站。程序会模拟浏览器向你的网站发送数据，可以达到你手动发布的效果。

　　3、直接进入数据库。您只需要编写几条SQL语句，程序就会根据您的SQL语句将数据导入数据库。

　　4、另存为本地文件。程序会读取数据库中的数据，并以一定的格式保存为本地sql或文本文件。

　　工作过程：

　　优采云采集器采集数据分为两步：一是采集数据，二是发布数据。这两个过程可以分开。

　　1、采集数据，这包括采集URL、采集内容。这个过程就是获取数据的过程。我们制定规则，在挑选的过程中，可以看作是对内容的处理。

　　2、发布内容就是向自己的论坛发布数据，cms的过程也是实现数据存在的过程。它可以通过WEB在线发布，存储在数据库中或存储为本地文件。

　　具体使用其实很灵活，可以根据实际情况来决定。比如我可以采集在采集的时候不发布，等有时间再发布，或者同时采集发布，或者先做发布配置，或者我可以在 采集 再次添加发布配置之后完成它。简而言之，具体过程由你决定，优采云采集器 的一大特点就是灵活性。

　　软件术语

　　采集规则：

　　采集规则分为站点规则和任务规则，通常指任务规则。所谓采集规则，就是你想采集一个网站时在软件中所做的设置。此设置可以从软件中导出并保存为文件，然后导入到软件中。站点规则文件后缀为：.lsite；任务规则文件后缀为：.ljob。

　　采集任务：

　　采集任务也称为任务。它是 采集 规则和发布规则的总和。它也是采集规则和发布规则的载体。采集规则和发布规则的设置是在任务编辑框中完成的。从采集器导出的采集规则文件（后缀为.ljob）也可以称为作业规则。导入导出任务规则用于指导.ljob文件的导入导出。

　　发布模块：

　　发布模块也称为发布规则，通常指数据库发布模块或WEB发布模块。所谓发布模块，就是当需要将已经采集的数据发布到目的地（例如：指定的数据库，网站）时，软件中的设置。可以将此设置保存为文件并导入到 采集器 中使用。数据库发布模块文件后缀为：.jhc；WEB在线发布模块文件后缀为：.cwr。

　　（采集规则和发布模块可以从采集器导出，也可以导入到采集器中使用。采集规则负责将网页上的数据采集向下，发布模块负责将采集的数据发布到网站。

　　可见采集规则的编写和修改与采集的网站有关，发布模块的编写和修改与网站有关@> 要发布的数据。例如，从不同的网站 列采集 发布数据到同一个网站 的某个部分（通道）需要多个采集 规则和一个发布模块。

　　将一个网站列采集的数据发布到不同的网站系统需要一个采集规则和多个发布模块。注意这里提到的采集规则是指采集网站和爬取内容的设置。)

　　发布界面：

　　发布接口是一个小页面程序，通常与WEB发布模块配合使用。WEB在线发布（使用WEB发布模块）是将采集的数据以POST方式发送到网站页面程序，网站程序会处理数据。发布接口是为满足特定需求而编写的网站页面程序（如PHP页面、ASP页面等）。

　　然后采集器通过WEB在线发布向这个接口文件发送数据，这个接口文件对数据进行处理。接口文件通常放在服务器上的目录 网站 中。简单来说，采集器将采集的数据发送到接口文件，接口文件拿到数据后对数据进行处理。通过发布接口，用户可以更加灵活自由地处理采集器发送的数据。

　　插入：

　　优采云采集器中的插件分为PHP插件和.NET插件。标准版支持 PHP 插件，企业版支持 PHP 插件和 .NET 插件。该插件允许用户通过将自己的PHP程序或.NET程序写入采集器来处理采集的数据。

　　采集数据数据可以在四个地方使用插件，分别是：采集网址时、采集内容时、采集多页时、保存时。

　　发布数据：

　　发布数据是指将数据从采集发布到指定的目的地。优采云采集器 支持四种发布方式。

　　方法一：在线发布到网站

　　这种发布方式类似于在网站后台手动添加数据。采集器将数据发送给网站后台程序，网站后台程序处理数据。通常后台程序将数据存储在网站 数据库中。

　　方法二：另存为本地文件

　　这样采集的数据可以发布到本地文件，采集器可以保存为Txt格式、Csv格式和Html格式。

　　方法三：导入自定义数据库

　　这样就可以通过采集器连接其他数据库，将软件内置数据库中采集的数据导入其他数据库。采集器 支持连接Mysql、Access、Oracle、MSsql 数据库。

　　方法四：另存为本地Sql文件（插入语句）

　　该方法是将采集的数据导出并保存为Insert语句，可用于在数据库管理工具中插入数据。

　　在本地编辑数据：

　　采集器不仅可以采集发布数据，还可以发布编辑后的数据采集。支持批量替换、SQL语句批量处理、文本编辑框编辑。

　　软件更新

　　2012-05-16 更新：