逆天:CTspider(长腿蜘蛛采集插件)

优采云 发布时间: 2022-11-27 11:36

  逆天:CTspider(长腿蜘蛛采集插件)

  CTspider是一款全自动爬虫插件工具。通过使用本插件帮助用户抓取网站文章数据进行发布,将大大提高用户的工作效率;本插件支持几乎所有平台网站,使用方法也比较简单,只需要用户设置一个定向采集URL即可开始对该网站的内容采集,并通过CSS选择器设置识别采集区域,用户可以方便地选择要采集

的内容,并可以在网页中获取文章的摘要、TAG、缩略图等;这个工具从采集

到新闻发布是全自动的。抓取内容后,程序会对文章进行去重,然后更新发布。整个过程中,基本不需要用户干预。

  软件特色

  1.支持内容CSS选择器定向删除和索引删除。

  2.支持HTML标签定向过滤和索引过滤。

  3、支持HTML属性过滤,保证内容更纯净。

  4.支持特例标签设置,方便用户设置直观的参考案例。

  5、内容替换模块帮助用户快速完成内容文本替换。

  6.支持标题关键词替换,快速将文章标题的关键词替换成其他内容。

  7、支持在标题或内容前后插入自定义文字,用户可以编辑插入文字中的任意内容。

  软件功能

  1.多任务网址采集,让用户更高效的完成工作和采集信息。

  2.使用定位更准确的区域选择器,让你采集的内容更准确。

  3.列表缩略图采集

,软件可以采集

列表中的缩略图图片并保存。

  4、用户可以完全设置相关参数,自定义缩略图的采集

属性。

  5. 支持自定义字段添加网站来源和网址。

  6.支持自动采集

列表的动态渲染。

  指示

  安装后可以直接使用。如果需要授权,可以安装以下步骤进行授权操作。

  1、登录长腿蜘蛛-CTspider官网并注册账号(官网地址:)

  2.填写相关注册信息进行注册,邮箱地址需真实填写,方便用户验证。

  

" />

  3、登录网站后,在用户中心点击添加授权域名,获取授权码。每个用户可以授权三个域名。

  4、获取授权码后,按照步骤点击CTspider插件->系统配置->授权码配置->填写授权码->保存配置->验证授权

  5、进入如下界面,在输入框中输入授权码,点击保存,再点击授权验证,授权完成。

  官方教程

  新项目/基本配置

  接下来说说怎么采集

物品

  我们以新浪科技为例:

  一、基本配置

  任务名称:新浪科技(PS:用户自定义)

  更新时间:默认60分钟(PS:当前任务每60分钟自动执行一次)

  字符集:默认即可(PS:如果代码出现乱码,请选择当前网页的字符集)

  随机IP:开启(PS:开启随机IP会在每次采集时自动更改IP,减少服务器IP被封的可能性)

  多线程采集:开启(PS:开启后可以提升采集速度)

  多线程数:默认10个(PS:根据自己服务器配置使用),

  列表设置

  Listing URL:all/index.shtml(PS:如果需要多个,可以另行添加)

  列表区域选择器: . Contlist > UL > Li(PS:【和CSS选择器一模一样】【可以填,但不能填】如果当前页面有多个相同的list DOM节点,保证集合的准确性),右键google在浏览器中查看元素,可以在下方看到当前列表数据。竞争对手 > UL > 李

  List thumbnails:如果有图片,可以直接填写当前缩略图CSS选择器

  文章URL匹配:a(PS:既然找到了上面的区域选择器,我们可以直接填一个标签,如果没有找到区域选择器,则设置为。根据DOM结构,按Lia或Contlist a。采集

的页面

  在自定义字段中添加来源网址:source_URL(PS:【自定义】可以不启用,设置后每天都会在文章中添加自定义字段source_URL,并将当前采集的URL链接赋值给Fields显示为前台调用,例如:get_post_meta('source_URL') 来调用字段的值。

  点击列表测试查看当前项目列表配置

  

" />

  点击列表测试查看当前项目列表配置

  文章设置

  标题匹配规则:H1

  文章内容设置:文章内容

  可以看到标题在H1标签下,还是可以用的。获取标题的主标题

  正文内容似乎有很多类和 ID。如果有 ID 属性,请尝试使用 ID。毕竟,ID 是唯一且准确的。

  我们还可以添加规则来采集

标签

  长腿蜘蛛ctspider提供了6条添加采集

的通用规则,并且可以自定义字段规则(PS:可以添加多个自定义字段规则)

  点击获取测试

  正确显示采集结果(raw text:title:label)

  然而,我们发现了一个链接,不仅仅是一个CSS属性和ID属性,还有一个span标签

  我们可以使用长腿蜘蛛ctspider强大的内容过滤模块进行数据清洗

  内容过滤

  首先,删除数据中的所有链接,但不要删除标签的内容

  在不删除内容的情况下删除数据中的跨度标签

  去除数据中无用的class属性和ID属性

  具体设置如下:

  最后,采集

和测试数据

  教程:eBay |:卖家工具介绍“批量上传精灵”

  “批量上传精灵”是一款免费的高级卖家工具,专为高交易量的卖家量身打造。使用此工具以 Microsoft Excel .csv 文件或制表符分隔的文件格式组织您的所有列表,并一次性将它们全部上传到 eBay。

  批量上传向导简介

  了解并熟悉eBay的各种刊登形式、功能和规则。

  拥有可以使用 .csv 或制表符分隔文件格式的库存管理软件或应用程序,例如 Microsoft Excel 和 Microsoft Access。

  熟悉电子表格或数据库的使用,对文件上传下载有基本概念。

  使用“批量上传精灵”,请参考:

  列出或管理 .csv(逗号分隔)或制表符分隔文件中的项目。

  通过“批量上传向导 - 上传和下载”页面上传,或使用程序自动将文件传输到 eBay。

  支持所有 eBay 类别的项目详细信息“项目特定/项目属性”功能。

  项目详细信息数据可以自动添加到项目列表中,并且在列出书籍、电影、音乐和视频游戏类别中的项目时可以使用 ISBN/UPC 编号。

  每个上传文件最大可达 15MB。

  系统会自动生成结果报告,告知您发布是否成功。

  注册以使用批量上传向导

  “批量上传向导”的使用步骤比较简单。只要您符合使用条件,即可在“我的易趣”中申请激活。请按照以下步骤注册使用“批量上传向导”:

  第一步:以eBay美国站为例,登录“我的eBay”,点击【账户】进入“账户设置”页面;点击左侧边栏【订阅】,进入“订阅”页面。

  第二步:进入“订阅”页面后,在“可用订阅”模块中找到“易趣文件交换”,点击“易趣文件交换”下“文件交换”对应的【订阅】,进入“批量上传”订阅向导”页面。

  

" />

  暗示:

  要立即使用“批量上传向导”,请单击下面的[文件交换] [图1]。

  全面了解“批量上传向导”,点击下方【文件交换使用指南】查看“文件交换高级模板说明”文件【图1】。

  【图1】

  有关批量上传向导的常见问题

  问:批量上传向导如何工作?

  A:卖家使用“批量上传向导”模板创建商品数据文件。可以通过以下两种方式将数据文件传输到“批量上传向导”:

  通过分步说明页面上传。

  使用程序自动上传。然后“批量上传向导”会对数据文件进行处理,执行所需的动作,并创建一个“上传结果记录”供卖家下载。

  问:卖家可以对列表进行哪些更改?

  答:使用数据文件,卖家可以添加、修改、重新刊登、结束刊登,也可以在“店铺长期刊登”项目结束后以其他形式重新刊登。此外,卖家可以进行基本的售后管理,例如:留下信用评论以及将商品标记为“已付款”或“已发货”。

  问:卖家可以在其他国家的 eBay 网站上使用批量上传向导吗?

  答:支持以下 eBay 站点:美国、加拿大、德国、英国、法国、意大利、*敏*感*词*和奥地利。在使用批量上传向导之前,请在您所在国家/地区的网站上创建自定义批量上传向导模板。

  Q:系统处理卖家上传的文件需要多长时间?

  答:一般来说,eBay 处理一个数据文件只需要几个小时,但如果文件很大,处理时间可能会更长。

  Q:“批量上传精灵”的数据文件必须符合什么规格?

  

" />

  答:数据文件必须以 CSV(逗号分隔值)格式发送,以便 CSV 格式与 Microsoft Excel 兼容。该文件必须小于 15 MB,并且不能超过卖家在 24 小时内可以使用的最大列表数。

  问:数据文件中必须收录

哪些数据?

  A:卖家必须指定申请的行动(例如:添加、修改、重新刊登和结束)、ISBN/UPC eBay 类别编号和一般的 eBay 相关刊登详情(例如:刊登格式是拍卖或固定价格)。

  Q:“批量上传向导”使用的数据文件格式是否兼容其他eBay销售工具?

  A:其他eBay卖家工具的导入功能暂不可用。

  Q:卖家可以从哪里获得“批量上传精灵”的样本?

  A:注册使用“批量上传精灵”后,您可以在“批量上传精灵”中心下载“批量上传精灵”模板。

  Q:如何上传数据文件到eBay?

  A:按照页面提示上传,或者使用程序自动上传。

  Q:卖家可以从哪里获得“批量上传精灵”的详细使用说明?

  A:注册使用“批量上传精灵”后,您可以在“批量上传精灵”中心获取PDF格式的详细说明。

  Q:卖家如何反映对“批量上传精灵”的意见?

  A:请使用“批量上传向导说明”页面将您的意见传达给客户服务部。

  三头六臂跨境电商联盟官网:

  征集论文!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线