教程:QmcPro音乐转换器Mac版与Soukey采摘网站数据采集软件下载评论软件详情
优采云 发布时间: 2022-11-17 11:49教程:QmcPro音乐转换器Mac版与Soukey采摘网站数据采集软件下载评论软件详情
搜狗采摘网站数据采集软件,支持多任务,多线程数据采集,完全免费,开源代码,遵循BSD协议。所需运行环境:Microsoft .net Framework 2.0。
1.多任务多线程,支持一个任务运行多个实例;
2.支持图片、Flash、文件下载;
3、URL配置支持参数自定义和外部字典参数;
4、支持Cookie、POST采集;
5.支持导航和自动翻页;
6.可以采集Ajax数据;
7. 采集数据暂存,断点续传;
8.支持数据导出、文件、数据库;数据库支持Access、MS Sql Server、MySql,文件支持文本文件和Excel;数据导出支持手动和自动,手动导出只支持文件形式;
9. 在线数据发布;支持在线数据发布,数据发布支持Cookie;
10、数据采集支持采集数据处理;可对采集数据进行字符串替换、截取、添加等操作,自动去除网页符号,支持正则化;
11.支持任务规划;任务可以定时执行,最小间隔0.5小时;
12、支持任务触发器触发Soukey拣货任务、数据库存储过程和可执行文件,支持采集完成和发布完成触发器;
13、提供URL编码/解码工具;支持UTF-8、GB2312、GBK、Big5;
14、提供Mini浏览器;可用于抓取Cookie和POST数据;
15.支持简体中文和英文;
解决方案:谷歌搜索运营推广方案 如何利用WP-AutoPost进行网页采集
1. 安装 WP-AutoPost
您可以通过从 WP-AutoPost.ORG 帐户下载 ZIP 文件来手动安装 WP-AutoPost。
如果您想手动安装 WP-AutoPost,请按照下列步骤操作:
登录您的 WP-AutoPost.ORG 帐户。
转到“帐户”部分。
下载您需要的 WP-AutoPost 插件(ZIP 文件)。
将下载的 ZIP 文件上传到您的 网站 'wp-contents/plugins' 目录。
提取 ZIP 文件。这将创建一个目录。
登录到您的 网站,转到插件并启用它。
2.创建任务和基本设置
创建任务
点击“新建任务”后,输入任务名称即可新建任务。创建新任务后,您可以在任务列表中查看该任务,然后您可以对该任务进行更多设置。
基本设置
点击“设置”后,您可以在“基本设置选项卡”下进行如下设置:
任务名称:修改任务名称
类别目录:任务 采集文章 发布到的类别目录
作者:这个任务的作者采集文章必须是wordpress的注册用户
Update interval:多久检查一次采集任务下是否有新的文章可以更新
字符集:采集target网站的字符集编码,默认为UTF8。如果目标网页的字符集编码不是UTF8,抓取的网页会出现乱码。设置正确的字符集解决这个问题(如何正确设置字符集)
下载远程图片:如果采集的文章收录此任务下的图片,可以选择是否下载远程图片到本地服务器,如果选择下载远程可以进行以下更多设置图片:
将下载的图像保存到 wordpress 媒体库
将图像保存到 Flickr
保存图片到七牛云存储
自动将下载的第一张图片设置为特*敏*感*词*片
下载的图片自动加水印,可添加文字水印或图片水印
选择设置图片地址的属性(如果收录源图片地址的属性不是src,可以在这里设置)
下载远程附件:如果此任务采集的文章收录其他类型的附件,您可以选择是否将这些附件下载到本地服务器,选择下载后可以进行以下更多设置:
将下载的附件信息保存到wordpress媒体库中