www.ucaiyun.com 9.12
优采云 发布时间: 2020-08-06 21:27优采云采集器是主要主流文章系统和论坛系统使用的多线程内容采集和发布程序. 使用优采云采集器,您可以立即建立一个内容丰富的网站. zol提供了优采云采集器的正式版本供下载.
优采云采集器系统支持远程图片下载,图片批量水印,Flash下载,下载文件地址检测,自制和发布的cms模块参数,自定义发布的内容以及其他相关的采集器. 优采云采集器的数据采集可以分为两部分,一个是采集数据,另一个是发布数据.
优采云采集器功能:
www.ucaiyun.com是一款功能强大且易于使用的专业采集软件. 强大的内容采集和数据导入功能可以将您采集的任何网页数据发布到自定义的远程服务器上
优采云采集器徽标
优采云采集器徽标
Yi用户cms系统模块,无论您的网站是什么系统,都可以使用上优采云采集器. 系统随附的模块文件支持: 新闻文章,dongyi文章,dongwang论坛,PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,magic论坛,Dedecms文章,Xydw文章,Jingyun文章和其他模块文件. 有关更多cms模块,请参考生产和修改,或访问官方网站与您联系. 同时,您还可以使用系统的数据导出功能,并使用系统的内置标签将采集的数据对应表的字段导出到任何本地Access,MySql,MS SqlServer.
www.ucaiyun.com用Visual C编写,可以在Windows2008下独立运行(windows2003附带.net1.1框架. 优采云采集器的最新版本是2008版本,需要升级到.net2.0框架以用于使用),例如,如果您在Windows2000,XP和其他环境下使用它,请首先从Microsoft官方下载.net framework2.0或更高版本的环境组件. 优采云采集器V2009 SP2 4月29日
数据捕获原理
优采云采集器如何捕获数据取决于您的规则. 如果要获取列的网页中的所有内容,则需要首先提取该网页的URL. 这是URL. 该程序将根据您的规则对列表页面进行爬网,从中分析URL,然后对获取URL的网页内容进行爬网. 根据采集规则,分析下载的网页,分离标题内容和其他信息并保存. 如果选择下载图片等网络资源,则程序将分析采集的数据,找出图片,资源等的下载地址,然后在本地下载.
数据发布原则
我们采集数据后,默认情况下将数据保存在本地. 我们可以使用以下方法来处理数据.
1. 不会进行任何处理. 由于数据本身存储在数据库中(访问,db3,mysql,sqlserver),因此,如果仅查看数据,则可以使用相关软件直接打开.
2,通过Web发布到该网站. 该程序将模仿浏览器将数据发送到您的网站,从而达到手动发布的效果.
3,直接进入数据库. 您只需要编写一些SQL语句,程序就会根据您的SQL语句将数据导入数据库.
4. 另存为本地文件. 该程序将读取数据库中的数据,并以某种格式将其保存为本地sql或文本文件.
工作流程
优采云采集器的数据采集分为两个步骤,一个是采集数据,另一个是发布数据. 这两个过程可以分开.
1. 采集数据,包括采集网站和采集内容. 此过程是获取数据的过程. 我们制定规则,并在采集过程中处理内容.
2. 发布内容是将数据发布到自己的论坛. CMS的过程也是实现现有数据的过程. 它可以通过WEB在线发布,存储在数据库中或保存为本地文件.
具体用法实际上非常灵活,可以根据实际情况确定. 例如,我可以在采集时先采集而不释放,然后在有空时释放,或者同时采集和释放,或者先进行释放配置,或者可以在采集后添加释放配置. 简而言之,具体过程取决于您,优采云采集器的强大功能之一体现在灵活性上.
优采云采集器V9.9版本
1. 优化效率并解决运行大量任务时卡住的问题
2. 解决了使用大量代理时配置文件锁定程序退出的问题
3. 修复在某些情况下无法连接mysql的问题
4. 其他界面和功能优化
优采云采集器V9.8版本
1: “远程管理”正式升级为“私有云”,并进行了全面的优化和调整.
2: 发布模块添加自定义标头信息.
3: 调整采集线程间隔并添加自定义间隔设置.
4: 长时间使用后的运行滞后问题已解决.
5: 第二级代理,IP输入框更改为普通的TextBox. 增强免代理认证功能.
6: 数据包丢失和死循环问题已修复.
7: ftp上传,添加超时处理.
优采云采集器优采云采集器V9.6
1: 多级URL列表,为列表名称添加重命名功能和上下调整功能.
2: 解决了无法以SqlServer数据库格式正确显示集合数的问题.
3: 添加新标签时,如果最后一次编辑是固定格式的数据,则新标签将显示错误的内容.
4: 解决了在数据包登录期间登录失败的情况下无法自动重新登录的问题.
5: 修复FTP上传失败后本地数据也被删除的问题.
6: 解决了采集和发送文件上传FTP失败的问题.
7: 在Excel中保存时,针对ID将PageUrl显示的列的位置优化.
8: 解决了无法多选任务的问题.
<p>9: 采集和发布时,将调整最大发布数功能(以前: 最大发布数无效. 现在: 最大发布数生效,任务完成后,上一个未发布的数据将不会再次发布)