算法 自动采集列表
淘宝商品推荐在ugc中的算法实现可参见我的博客
采集交流 • 优采云 发表了文章 • 0 个评论 • 50 次浏览 • 2022-07-13 04:04
淘宝商品推荐在ugc中的算法实现可参见我的博客
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐... 查看全部
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐... 查看全部
淘宝商品推荐在ugc中的算法实现可参见我的博客
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐...
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
采集交流 • 优采云 发表了文章 • 0 个评论 • 104 次浏览 • 2022-07-09 05:01
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。 查看全部
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。 查看全部
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
采集交流 • 优采云 发表了文章 • 0 个评论 • 80 次浏览 • 2022-07-05 15:25
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。 查看全部
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。 查看全部
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。
大数据内容分析，零基础入门教你如何实现数据魔方
采集交流 • 优采云 发表了文章 • 0 个评论 • 78 次浏览 • 2022-06-27 14:01
大数据内容分析，零基础入门教你如何实现数据魔方
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时， 查看全部
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时， 查看全部
大数据内容分析，零基础入门教你如何实现数据魔方
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时，
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 79 次浏览 • 2022-06-25 13:13
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 81 次浏览 • 2022-06-23 07:31
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
采集交流 • 优采云 发表了文章 • 0 个评论 • 51 次浏览 • 2022-06-21 02:16
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01 查看全部
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01 查看全部
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01
算法自动采集列表的话，可以用magento这样的建站系统
采集交流 • 优采云 发表了文章 • 0 个评论 • 111 次浏览 • 2022-06-19 03:00
算法自动采集列表的话，可以用magento这样的建站系统
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。 查看全部
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。 查看全部
算法自动采集列表的话，可以用magento这样的建站系统
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 59 次浏览 • 2022-06-18 17:46
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 457 次浏览 • 2022-06-18 04:15
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
无需代码爬虫，小白也能操作采集各行业数据
采集交流 • 优采云 发表了文章 • 0 个评论 • 178 次浏览 • 2022-06-18 03:50
无需代码爬虫，小白也能操作采集各行业数据
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar 查看全部
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar 查看全部
无需代码爬虫，小白也能操作采集各行业数据
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 426 次浏览 • 2022-06-18 03:49
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
采集交流 • 优采云 发表了文章 • 0 个评论 • 149 次浏览 • 2022-06-18 02:35
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。 查看全部
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。 查看全部
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 84 次浏览 • 2022-06-16 12:40
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 262 次浏览 • 2022-06-15 15:21
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
收藏 | 机器学习数据集汇总收集
采集交流 • 优采云 发表了文章 • 0 个评论 • 163 次浏览 • 2022-06-12 10:10
收藏 | 机器学习数据集汇总收集
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset 查看全部
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset 查看全部
收藏 | 机器学习数据集汇总收集
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 80 次浏览 • 2022-06-06 04:51
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
算法自动采集、歌曲页、评论页及详情页。
采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-06-05 23:01
算法自动采集、歌曲页、评论页及详情页。
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。 查看全部
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。 查看全部
算法自动采集、歌曲页、评论页及详情页。
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 89 次浏览 • 2022-06-02 05:01
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 124 次浏览 • 2022-05-29 07:47
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
淘宝商品推荐在ugc中的算法实现可参见我的博客
采集交流 • 优采云 发表了文章 • 0 个评论 • 50 次浏览 • 2022-07-13 04:04
淘宝商品推荐在ugc中的算法实现可参见我的博客
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐... 查看全部
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐... 查看全部
淘宝商品推荐在ugc中的算法实现可参见我的博客
算法自动采集列表商品的数据（比如淘宝c2c），快速为用户推荐商品的排序算法。淘宝商品推荐在ugc中的算法实现可参见我的博客。（需先注册，
每天提前收到推荐排序的通知
根据用户的商品偏好推荐相应的商品。我认为它更多的是一种社交型的功能。因为在你看到好商品的时候会感叹：＂这个ta也买了＂！但是很少有用户在逛到自己喜欢的东西的时候提前就想到来知乎推荐什么东西，直到看到推荐给自己的东西自己也喜欢，
这取决于他喜欢给别人推荐什么东西
trello采用订阅机制。订阅了这个东西，那么它会定期推送这个东西给你，
现在不都是用app发现更多的东西吗
评价问答式，真正追求用户体验，
基于用户对商品本身的定位来设计推荐。
对于个人的行为习惯，关注品牌，
没试过，
应该不是像他们说的那样，不就是订阅一个帐号么，设计的话没有设计师、产品经理那么在意。至于基于用户行为路径的推荐，其实一种比较宽泛的生态链，我的想法是大数据找到用户的某些习惯偏好，可以进行商品推荐。
cookie反推荐...
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
采集交流 • 优采云 发表了文章 • 0 个评论 • 104 次浏览 • 2022-07-09 05:01
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。 查看全部
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。 查看全部
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络
算法自动采集列表页，不需要关心页面是否ip高速代理手动网络，
@唐磊前辈你好，我是一家电商公司的电商运营。我们公司最近做了一个公司的活动，就是每天20元订单，联通可以送2条宽带。最近的情况是，用户量越来越大，关键字密度越来越高，我们联通的网络已经不足以支撑整个活动了。这个问题困扰了我好久，我本想等到联通的宽带上线以后，用我的运营商支付验证账户，按时办理这个活动。
正在我思考怎么通过一个工具直接把联通的验证码转给公司的人，有什么方法。后来我经过想象想明白了，通过两个方式:1.每天20元的交易金额是0.02元，假设服务器验证1万元就是100万元，我们这边最好有20万的交易金额，不然对我们没有任何益处。2.联通有足够多的网络，每天20元的活动量是很容易把这个网络撑死的。
这个过程我理解成两种情况，一种是在网络没有容量时我们在发送验证码时，用不同的网络重点发送验证码，当网络容量有限时，确保发送的验证码不超过一定的限制，这个过程说明网络可能就会断掉，使得验证码失效。第二种，就是网络可以支撑整个活动。关键是我们要保证每天20元的交易额是每天交易量（百万级）的50倍以上。也就是一天20元也许只会上涨1万元。
假设这条网络的验证码是10万，转发最长10s，每10万条发送1条，那么可以确保发送给200万人的验证码是10万条。一天的每条验证码将只有0.条，按最长算的话，只有0.1条验证码能够转发到每个人。现在我理解不到。
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
采集交流 • 优采云 发表了文章 • 0 个评论 • 80 次浏览 • 2022-07-05 15:25
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。 查看全部
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。 查看全部
科研时间 | 使用常规收集卫生数据开展观察性研究的报告规范
医疗卫生实践中产生数据的可用性在日益提高，通过对疾病发病率和结局的监测，改变了研究范畴。常规收集卫生数据的定义为：不是针对开展研究前即确定的研究问题而收集的数据[1]。这些数据来源包括广泛的研究资源供应（如疾病登记）、临床管理（如初级保健数据库）、卫生系统规划（如卫生管理数据）、临床护理文件（如电子健康记录数据仓库）或流行病学监测（如癌症登记和公共卫生报告数据）。在多种医疗保健机构和地理位置背景下产生的这些数据为临床医学、卫生服务规划和公共卫生决策提供了创新、高效及成本-效益较高的研究可能[2]。国际范围内，政府和资助机构优先使用常规收集的健康数据作为改善患者护理、改革健康研究和提高卫生保健效率的工具[3]。
2.3方法
2.3.1场景RECORD没有额外扩展STROBE关于“描述数据收集的机构，地点和时间范围，包括征集研究对象、暴露、随访和数据收集的时间范围”的条目要求。应注意，除在题目和/或摘要中已提及的数据库类型以外，应提供相关信息以便读者理解数据库的内容及其真实性和收集数据的原始原因。例如，记录电子病历的人可能是专科医师或初级保健医师，也可能是急诊科医生或住院医师，也可能是高年资医师或医学生。他们可能接受过专门培训，以确保数据记录的完整和可重复性，也可能没有接受过培训[25]。为让读者判断是否可以将研究发现应用到源人群中，作者还应该描述数据库人群与源人群的关系，包括选择标准。
2.3.2研究对象RECORD 6.1：应详细列出研究人群选择方法（如用于识别研究对象的编码或算法）。如不可行，应给予解释。RECORD 6.2：任何针对选择研究人群编码或算法进行的验证研究均应标引参考文献。如果为本研究实施的验证没有在其他地方发表，需要提供验证方法的细节和结果。RECORD 6.3：如果研究涉及数据库链接，考虑使用流程图或其他图表展示以说明数据链接过程，包括每一步骤中能实现数据链接的个体人数。
实例RECORD 6.1：这部分报告较好的文章内容如下：OCCC（ Ontario Crohn's 和 Colitis Cohort）使用验证的算法基于年龄组来识别的 IBD患者。这里的每个算法在安大略省应用于特定年龄组，多个队列，医疗实践类型和区域并已验证。对于 18 岁以下的儿童，根据他们是否进行结肠镜检查或乙状结肠镜检查来定义。如果他们进行了内镜检查，定义为在3年内需要4个门诊医师联系或2次因IBD住院。如他们未经内镜检查，则需要7个门诊医生联系或在 3 年内 3 次因 IBD 住院……该算法正确识别 IBD 儿童所具有灵敏度为……[26]。本文参考了两个先前的算法验证研究来识别不同年龄的炎性肠病患者，包括诊断准确性的测量。
RECORD 6.2：① Ducharme 和他的同事详细描述了识别儿童肠套叠的编码验证过程，然后使用已验证的编码描述流行病学。验证研究中涉及的列于文章的图 2[27]。② Benchimol 和同事没有进行验证工作，然而，参考了先前进行的验证工作，详细描述了识别编码算法的诊断准确度信息[26]。
RECORD 6.3：RECORD 网站上的示例图 2、图3 和图 4 展示了一些可能的方式以说明链接过程：图 2 说明链接过程的韦恩图（在 Herrett 等人的许可下复制[28]，见网站：）。图 3 混合流程图和韦恩图说明链接过程（转载得到 van Herk-Sukel 等人的许可[29]，见网站：
）。图 4 与参与者流程图结合的链接图（在 Fosbøl 等人许可下[30]，见网站：
）。
解释 RECORD 6.1 和 6.2：报告用于获得研究人群的识别编码/算法的真实性对于使用常规收集卫生数据开展的观察性研究报告的透明性是必要的。此外，报告编码/算法可让其他研究者实施外部或内部验证。
应明确和清晰地阐述用于识别研究对象的方法，包括是否基于唯一编码，算法（记录或编码的组合），数据库之间的链接，或自由文本字段。
正如许多其他流行病学研究一样，在使用常规卫生数据开展的研究中，错分偏倚的风险可能威胁研究结果的真实性[31]。虽然在使用大样本人群数据库的研究中存在放大错分的风险，但这些研究提供了研究罕见疾病或非常见疾病的机会[32]。作为使用常规收集卫生数据研究的必要部分，识别方法的验证日益受到重视，尤其是在使用以计费为目的收集的管理数据开展研究时使用的疾病编码[33]。外部验证研究通常需要将用于识别研究人群的编码或算法与参考标准进行比较。最常用的参考标准是医疗记录，患者或医生的调查，以及临床登记[5, 34]。此外，据库的内部验证可以通过比较单个数据库内交叉出现的数据源[35]。准确性的测量类似于诊断试验研究的报告，包括灵敏度、特异度、阳性和阴性预测值，或kappa系数[5, 34]。
因此，对于使用常规收集卫生数据开展的观察性研究，我们建议在正文方法部分中提供详细的识别编码/算法的外部或内部验证信息。如果之前已开展过一项或多项验证研究，应标引参考文献。如未进行验证研究，则应明确说明。此外，应就识别方法的准确性（使用常见的诊断准确性术语）及它们在亚组人群中应用的功能进行简要讨论。如果作为观察性研究的一部分而开展的验证研究，我们建议作者使用已发表的验证研究的报告指南[5]。重要的是要说明验证是否基于不同于本研究选择的数据来源或数据库人群开展的，因为编码可能在不同的人群或数据库中发挥不同的作用[36]。另外，如果用于比较的参考标准存在已知问题，例如不完整或不准确，则应当报告这些问题并讨论其局限性。作者应讨论用于识别研究人群和结果所使用的选择编码/算法的含义、错分风险，及其对研究结果的潜在影响。对使用不同于当前研究人群的其他人群进行验证的意义进行讨论则更为重要。
RECORD 6.3：流程图或其他图形展示可表达链接过程的相关信息，并可以简化冗长的描述。这样的图示可提供关键数据，如实现链接和未链接的个体所占比例和特征信息。读者据此可确定获得成功链接的数据库人群所占比例及研究人群的代表性。链接流程图可是独立的图（如，韦恩图或流程图），也可结合 STROBE 建议参与者流程图。图表展示可以有多种形式，我们不再给特定推荐。
2.3.3 变量 RECORD 7.1：提供将暴露、结局、混杂因素和效应修饰因子进行分类的编码和算法的完整列表。如不能报告这些内容，需给予解释。
实例 ① Hardelid 和同事在他们的补充数据 2的 S1 表中提供了所有编码[37]。② Murray 及其同事在其附录 S1 中提供了有风险组的所有编码[38]。
解释 正如用于识别研究群体的编码/算法一样，用于划分暴露、结局、混杂因子和效应修饰因子的编码/算法也会为研究带来潜在错分偏倚。为允许重复研究，对其进行评价并与其他研究进行比较，我们建议在正文、在线附录和/或外部网站上提供用于研究实施的所有诊断、程序、药物或其他编码的列表。对于通过调查方式收集的常规数据，针对研究对象的调查问题的措辞要清晰明确。考虑到所有研究（包括使用常规卫生数据开展的研究）均存在错分偏倚风险[31]，作者应提供足够的细节，使研究具有可重复性，并使偏倚风险易于识别。如可在文章正文中描述验证研究，或提供其他已出版或在线材料的参考文献。如上所述，作者应说明验证研究所使用的人群是否不同于当前研究所使用的人群来源或数据库。
我们认识到，在某些情况下，研究人员可能会避免在发表刊物中提供所使用的编码列表和算法，因该信息被视为专利或受版权、知识产权或其他法律的保护。例如，一些共病调整指数是由营利性公司创建，并销售给学术研究领域的研究者使用[39, 40]。在这些情况下，作者可能依赖数据提供者或受信任的第三方来收集、清洗和/或链接数据。作者应针对他们无法提供编码列表或其他用于识别研究个体或疾病信息的情况加以详细说明，并尽量提供这些列表所有权机构的联系信息。此外，作者应该阐明无法提供这些信息会如何影响其他研究者对研究的重复和评估。理想情况是，第三方应提供详细信息说明如何收集、清洗或链接数据。数据提供者和使用者之间的良好沟通可使双方获益。
一些学者认为编码列表代表了研究人员的知识产权。公开发表这些列表并允许其他研究人员将其应用到自己的研究中，可能会影响作者创建编码列表的知识产权和信用。我们认为这种观点不符合透明的科学标准，即允许研究的可重复。因此，除受法律或合同保护的编码列表，我们建议公开全部编码列表。
考虑到许多期刊的字数和页数限制以及编码列表/算法的长度，采用纸质期刊发表编码列表可行性较低。因而，可使用文本、表格、杂志网页版将详细信息作为附录给予报告，也可由作者或其他个人永久在线存储，或者存放在第三方数据存储库（如，Dryad或Figshare）中。文章的正文和参考文献部分应提高如何获得编码列表的详细信息。如的编码仓库承诺公开基于健康数据开展研究中所使用的编码文档并透明化[41]。如果将编码列表作为在线补充发表在期刊网站或作者提供的外部网站上，则应在期刊文章中公开链接。在杂志网站或PubMed Central（）上发表编码列表，会增加获得补充资料的可能性（只要杂志在发行）。如果在外部私人或机构网站上发表是唯一选择，建议至少在杂志文章发表后10年内，均可持续获得这些编码列表。如果更改了URL地址，则需要从原有网址自动的重新定位。这些措施将有助于未来的文章读者能够获得完整编码列表。
在文章中（或以在线附件形式）除提供编码列表，作者还应提供分析指出研究所使用的编码/算法是否会引入偏倚。此类偏倚可能包括错分偏倚、确认偏倚以及缺失数据所致的偏倚。如果基于不同代码/算法集实施敏感性分析，则应对其进行描述和评估。潜在偏倚的讨论可结合RECORD和STROBE清单的其他部分，如研究对象选择和编码验证。
2.3.4 统计学方法 数据获得和清洗：RECORD12.1：作者应描述研究者从数据库人群中获取了多少来建立研究人群。RECORD 12.2：作者应提供研究所使用的数据清洗方法的有关信息。RECORD12.3：说明研究是否在两个及以上数据库之间，使用了包含个体水平、机构水平或其他数据进行数据链接。应提供链接的方法以及对其进行质量评价的方法。
实例 RECORD 12.1：以下文章描述对英国通用实践研究数据库（GPRD）子集的获取：① “通过医学研究委员会许可协议，GPRD 将其数据集限制为通过其资助的项目的 100 000名个体。该限制规定了使用病例对照而不是队列设计，以确保我们为每个特定症状确定足够的癌症病例……”[ 4 2 ]。②“来自通用实践研究数据库的随机样本……经医学研究委员会学术机构许可获取[43]”。
RECORD 12.2：以下内容是数据清洗方法的描述示例[44]：用于链接的公共标识符的完整性在数据集和不同时间是不同的（近年来标识符更完整）。对于 LabBase2，标识符的完整性有所不同（图 2）。对于 PICANet（儿科重症监护网），出生日期和医院数量 100%完整，大多数其他标识符>98%完整，除了 NHS（国家卫生服务）号（85%完整）。对于这两个数据集，进行数据清洗和数据准备：NHS 或医院编号例如“未知”或“9999999999”设置为空；通用名称（ 例如，“宝贝”、“双胞胎 1”、“婴儿”）设置为空；为多个姓创建了多个变量和名字；开始“ZZ”（表示没有英国邮政编码）的邮政编码设置为空。
RECORD 12.3：下面从文章摘录的是有关数据链接的级别，所使用的链接技术和方法，以及用于评估链接质量的方法的良好报告示例：①“我们将活产和胎儿死亡证明链接到事件的时间链中，排除人工流产和异位妊娠，构成了个体女性的生殖经历”[45]。②两篇文章包含了对研究特定链接的详细描述报告[44, 45]。在 Harron 及其同事[44]的文章中，有详细的解释提供了匹配过程的图形演示。另外，计算链接概率的方法描述如下：“计算匹配概率P（ M|协议模式）以估计联合标识符集匹配的概率。这避免了标识符之间的独立性的假设。概率被导出为链接数除以每个协议模式对的总数（基于在训练数据集中识别的可能链路）。例如，如果有378 个比较对出生日期和 Soundex 一致，但性别不一致，其中 312 个是可能的链接，协议模式的匹配概率[1，1，0]为 312/378=0.825”[44]。Adams 和同事的文章也提供了解释链接的详细过程：“确定性链接包括 I 期，其需要六个处理步骤，在这六个处理步骤期间形成链并将单独的（先前未链接的）记录添加到链中。接下来是阶段 n，其需要多次通过文件以组合属于同一母亲的链”[45]。③相比之下，如果一项研究涉及以前的链接数据，则参考以前的文章即可，如：“两个数据库的记录基于出生日期都与市政登记处联系在一起，性别和邮政编码，并随后相互链接。链接由荷兰统计局执行，并在以前的出版物中描述”[20]。④以下是良好报告链接和未链接个人特征的例子：“根据本文的目的，不匹配的 ISC（住院统计数据收集）记录将被称为 ISC 残差，不匹配的 MDC（助产师数据收集）记录作为MDC 残差和链接对作为匹配记录……选择变量可用于两个数据集，在三组间比较-ISC 残差、MDC残差和匹配记录”[46]。
解释 RECORD 12.1 和 12.2：如果数据分析人员不熟悉队列建立的微小差别或建立研究队列的目标，可能发生错误。因此，应当报告作者获得数据库的范围。描述研究不同阶段的数据清理方法应包括用于筛选错误和缺失数据的方法，包括范围检查，重复记录检查和重复测量的处理[47, 48]。要报告的其他方法包括数据分布频率的评价、数据交叉表、图形探索或异常值检测所使用的统计方法[49]。可提供关于错误诊断的其它细节，包括合理性的定义和分析中的错误处理。清晰透明地描述数据清洗方法至关重要，因为方法的选择可影响研究结果，研究的可重复性和研究结果的再现[50]。
RECORD 12.3：对于链接研究，我们建议报告成功链接的估计率，确定性或概率性链接的使用，用于链接的变量质量和类型，以及所有链接验证的结果。如果数据库之间的记录链接是针对特定研究的，则应报告链接方法及其质量评价，包括由谁实施链接操作的信息。如果适用，应提供以下细节：区组变量、链接变量的完整性、关联规则、阈值和人工核查等[44]。如在研究开始前已实施链接（如，前期研究或通用的链接），或者由外部提供者（如，数据链接中心）实施数据链接，那么就需要通过参考文献描述数据资源和链接方法。
描述数据链接方法并评估其成功率是至关重要的，可允许读者评估任何链接错误和有关偏倚产生的影响[51]。具体地讲，读者应知道使用的链接类型是确定性的还是概率性的，以便确定链接是否可能受到错误匹配或缺失匹配的影响。当不同数据源之间存在唯一标识时，可使用确定性链接。无法获得这种标识时，描述应用的记录链接规则（或统计链接主键）便十分重要。相对而言，概率链接会使用多个标识，有时这些标识具有不同的权重，并匹配高于特定阈值。可能也会用到混合方法。例如，一些记录使用确定性链接，当无法获得唯一标识时则可应用概率链接。当链接错误的概率（如，错误匹配和缺失匹配）与结局变量存在关联时，会发生链接偏倚。例如，链接率会因患者特征，如年龄、性别和健康状况而变化。即使链接过程中很小的错误也可能引入偏倚，从而导致研究关联被高估或低估[52]。作者应使用标准方法报告链接错误，包括与金标准或参考数据集进行比较，灵敏度分析，以及链接和未链接数据特性的比较[53]。报告链接错误允许读者确定链接的质量以及与链接错误有关的偏倚可能性。
2.4结果（研究对象）
RECORD 13.1：详细描述研究纳入的个体选择方法（如，研究人群选择），包括基于数据质量，数据可及性和链接等方面的筛选。可使用文本描述或研究流程图描述纳入个体选择方法。
实例 以下所给出良好报告示例：1998 年到2007 年间，我们在 SEER（监测，流行病学和最终结果）中根据诊断一处或多处肺癌和支气管癌病例，识别出 161 401 个医疗保险受益人。在这些患者中，我们总共识别出 163 379 例单独诊断事件性肺癌。（一些患者在研究期间间隔超过一年有两处原发性肺癌）。图 1 显示为最终队列 46 544 例患者共46 935 例 NSCLC（非小细胞肺癌）[54]的来源。（关于示例流程图，请参见图 5，可从）获取。
解释 作者应详细描述由常规收集的卫生数据的原始数据获得研究人群过程，因为记录研究人群和数据库人群之间的差异可使研究结果得到更好的应用（参见 RECORD 6.1）。使用常规数据源的研究者经常基于可用数据的质量等因素来限制其研究人群。如，研究者可将研究周期限制到已知数据质量可接受的时间范围内，从而排除潜在参与者。研究可能会排除医疗实践与电子病历记录不符的记录，或者等到医疗实践与病历一致时再加入[38, 55]。研究人群也会由于数据可获得性而受到限制。如，在利用美国医疗保险数据库的研究中，近期在健康组织注册的受益人通常会因为记录缺少临床事件而被排除[54, 56]。当使用适用性随时间波动的数据源（如，保险数据库）时，研究人员需要明确说明如何定义适用性，以及如何在其研究中管理适用性的更改。如果研究使用的是存在链接的常规数据，研究人群通常会减少或限制在那些可进行链接的个体中进行[57]。特别严格的队列同样会因为方法学的原因减少一些混杂来源。
因此，获得最终研究人群的步骤、纳入排除标准和队列建立和分析过程中，不同阶段研究参与者的纳入和排除标准都应在正文中明确定义，可采用文字或使用合适的流程图。研究人群可使用不同的编码和/或算法（参见RECORD 6.1）得到，并且随着时间变化使用不同的编码可能影响研究人群[58, 59]。一些研究也使用几种敏感/特异性的病例定义，这可能对随后的分析产生影响。这些步骤的描述在评估研究结果的外部有效性及在某些情况下评估可能的选择偏倚时至关重要。可报告敏感性分析以评估数据缺失和研究人群的代表性的潜在影响。提供关于从初始数据库选择研究人群的信息以便于研究的可重复。可对不同的研究人群进行辅助分析，并通过在线附录进行报告。
2.5讨论（局限性）
RECORD 19.1：讨论将不是为了回答特定问题而创建或收集的数据用于研究时的影响。包括对错分偏倚、未测量混杂、缺失数据以及随时间变化的适用性的讨论，因这些影响是此类研究所固有的。
实例 以下文章描述使用管理数据库有关的局限性：①“第三，这项研究是一个回顾性，基于索赔的分析。只有 PET（正电子发射断层扫描）扫描支付的医疗保险可以在分析中检测到。为最小化错误的索赔比例，所有分析仅限于两者的医疗保险受益人医疗保险 A 部分和 B 部分覆盖，不纳入诊断前后 12 个月的注册管理医疗或医疗保险 C。第四，SEER 登记的患者更可能是非白人，生活在相对不贫困的地区，住在城市地区，这可能限制了研究发现的外推性。第五，在研究期间，疾病阶段是基于 SEER 数据在 4 个月内或直到第一次手术获得。2004 年，数据 SEER 的收集更改为协作分期系统。我们不清楚结果与更新后的方法有何差异”[ 5 4 ]。②“尽管 SEER-Medicare 数据有一些优势，包括一个比较大的样本量，对美国人口的普及性，及详细的处方信息。我们的研究受限于缺乏关于胆固醇，甘油三酯和葡萄糖水平等提示人体的代谢紊乱程度的实验室数据……因此基于实验室的数据可以通过代谢疾病严重程度减少残留混杂。我们还缺乏更多关于癌症进展的粒度数据，这可能会影响他汀类药物使用和死亡之间的关联，因为他汀类药物治疗在预期生存时间较短的患者停止使用”[60]。
解释 常规卫生数据通常不是针对特定的事先设计的研究问题而收集的，其数据收集的原因可能不同。许多潜在的偏倚，不但包括观察性研究有关的常见的偏倚来源，也包括很多使用常规收集数据的观察性研究特有的偏倚，这些都会影响研究结论。作者应将以下内容作为潜在的偏倚来源进行讨论：① 识别研究人群、结局、混杂因素或效应修饰因子的编码或算法（错分偏倚）；② 缺失变量（未测量的混杂）；③ 缺失数据；④随时间变化的适用性。常规数据收集的原则可能影响研究问题所使用数据的质量和适用性。例如，用于回顾性分析的注册管理机构可能比收集其他类型的常规数据的组织实施更好的质量控制。同样，一些行政数据受到严格的质量控制，而其他数据则不然。管理数据尤其会出现不实或机会性编码的错误。例如，当医院报销基于病例组成的复杂性时，医院可能会通过自由地向患者记录中添加复杂疾病编码从而最大限度地报销偿付[61]。此外，编码策略的变化可能影响数据的有效性或一致性。例如，提供商计费激励码的引入可以改变随时间使用代码的可能性[62, 63]。由于患者的污名或提供者的惩罚，可避免其他代码[64]。此外，代码分类系统（如，从国际疾病分类ICD-9 到 ICD-10）的版本的变化可能改变使用编码数据确认的有效性[65, 66]。
医院和人群间临床实践的差异可能会导致实验室检查在特定的地点进行，这可能会影响诊断算法。如果存在任何这些潜在错分偏倚来源，则应将其作为研究局限性进行讨论。未测量的混杂被定义为在研究中未包含的与混杂相关的变量，导致残余混杂偏倚[67]。虽然它是所有观察性研究中偏倚的潜在来源，但在使用常规收集的数据的研究中尤为突出。分析可能需要在设计数据库或收集数据时未考虑的变量。现已提出多种方法来解决这种潜在的偏倚来源[68-71]，包括倾向得分。然而，倾向评分分析，类似标准回归分析和匹配，只能保证研究参与者对数据中获得的变量上平衡。特定类型的未测量混杂为指示混杂，这通常是在使用常规收集数据进行（药物）治疗有效性和安全性评价时遇到。那些接受这种（药物）治疗的患者相比不使用治疗的患者，预后更好或更差，但有关预后或疾病严重程度的信息无法从数据中获得[72]。作者应讨论这类问题，如果存在，应报告处理这类问题所采用的方法。缺失数据是所有观察性研究都会遇到的问题，并已在 STROBE 解释性文章[10]的框 6 中提到。缺失数据是常规收集数据的一个特殊问题，因为研究人员无法控制数据收集[73]。如果在定义研究队列需要用到的变量上有缺失数据或用于链接识别变量有缺失从而使记录无法链接，特别是非随机缺失。
作者应描述可能会造成未测量混杂的缺失变量，变量缺失的原因，对研究结果的影响，以及调整缺失变量所用方法。如，吸烟状态对克罗恩病的严重程度具有强烈影响，并且与该疾病的结局相关。然而，卫生管理数据中很少包含吸烟状况的数据。在评估社会经济地位与克罗恩病结局之间关系的研究中，吸烟状态被讨论为潜在的未测量的混杂因素[74]。通常，仅在使用常规卫生数据开始研究之后才发现缺失的数据/缺失的变量，使得研究者有必要偏离其原始研究方案。不管何种原因造成偏离，都应报告偏离方案的细节。应讨论偏离的原因及其对研究和结论的影响。另一个重要的潜在局限性是由于数据库人群、研究人群或两者的组成随时间的变化而导致的编码实践或合格标准的变化。数据库人群的定义可在多种情况下改变，例如，如果注册实践停止与数据库的协作，改变计算机软件或在数据库变化时改变注册的标准，如注册表。如果由于就业，住所或医疗服务提供者的变化，个体的适用性会随时间变化，行政数据来源（例如保险数据库）的研究人群可能会改变。记录编码的改变（不实或如前所述的编码系统改变）可能会改变研究人群[63, 75, 76]。当讨论局限性时，作者应该解释如何在分析中处理变更的适用性，以便读者可评估偏倚的可能性。正如STROBE 声明提到的，讨论需要报告所有潜在偏倚的方向和大小以及处理方法。
2.6其他信息
RECORD 22.1：作者需提供如何获得所有补充信息，如研究方案、原始数据或程序编码的方法。
实例 ① Taljaard 及其同事[77]的文章代表了使用加拿大社区健康调查研究完整的研究方案。② 在他们的文章中，Guttmann 和同事根据研究方案的要求：“数据共享：技术附录，数据集创建计划/方案和统计编码可从相应的作者（电子邮件地址）获取”[78]。
解释 我们强烈推荐提供详细的研究方法和结果的信息。如果可能，我们建议提前或同时发表研究方案，原始数据结果和程序代码（如允许）。此信息对同行评审者和读者评估研究结果的有效性十分有用。研究者有很多可用的途径公开发表这些数据。这些途径包括在线期刊补充材料、个人网站、机构网站、基于科学的社交媒体网站（如，和）、数据存储库（如，Dryad或Figshare）或政府开放数据网站[79]。我们发现，一些研究组织、公司、教育机构或法律可能禁止或限制此类信息的免费提供。虽然对此知识产权的所有权和使用的讨论超出了RECORD指南的范围，这些数据的发布通常要符合研究者研究机构法律和伦理指南以及期刊编辑的指南。该信息对于可能希望访问这些数据以复制，再现或扩展正文描述的研究的其他研究人员也是有用的。无论这些可用的补充信息的格式或程度如何，我们建议在正文中明确说明这些信息的位置。
3讨论
RECORD规范针对于使用常规收集的卫生数据进行的观察性研究，是STROBE声明的补充而非替代。RECORD 规范为作者、期刊编辑、同行评议者和其他利益相关者制定，旨在加强使用常规收集的卫生数据进行研究的报告的透明度和完整性。该清单可供使用此类数据的任何研究人员使用，我们鼓励向所有相关方广泛传播。我们期望期刊对RECORD 规范的认可和应用，以改善使用常规收集卫生数据实施的研究报告的透明性。
3.1局限性
STROBE声明和RECORD规范仅用于观察性研究。然而，常规收集的卫生数据有时也用于其他研究设计的研究，例如用于卫生系统评价的群组随机试验。另外，随机试验来源的数据链接与管理数据可用于结局的长期随访，以及关联研究并不属于观察性研究。随着领域的发展，我们期望使用类似的方法将RECORD规范扩展到其他研究设计。
尽管RECORD规范代表反映利益相关者的兴趣和优先事项，但使用常规收集的卫生数据进行研究的方法正在迅速变化，并且此类研究的数据类型的可用性正在扩大。例如，移动健康应用程序（mHealth应用程序）正广泛用于智能手机和可穿戴技术。虽然目前仅有有限的研究使用这类数据资源，但我们预计在不久的将来这些数据的使用将快速增长，并将创建管理这种资源的新方法。此外，工作委员会关注于卫生数据，而非健康相关研究所使用到的所有数据资源（如，环境数据和经济数据等）。因此，RECORD规范可能不能很好反映将来可能会变为重要的内容，并且在某些方面可能需要修订。
在这些规范制定的过程中已认真考虑利益相关者的广泛代表性。我们通过开放电话和使用各种渠道有针对性地邀请招募利益相关者[16]。然而，利益相关方代表主要来自使用常规收集的卫生数据进行研究的地区，只有几名代表来自发展中国家和非英语国家。我们认为利益相关方代表了目前该领域的研究者和使用者的普遍认识。虽然通过调查和利益相关者团体获得大量反馈，但鉴于可行性考虑，该声明是由19名成员组成的较小的工作委员会制定的，正如已有研究[17]中建议的那样。在未来，技术和社交媒体可能允许更大的团体更积极地参与工作委员会会议。
3.2未来方向和社区参与
随着常规收集的健康数据的可用性扩大，我们希望来自当前无法获得这些数据的地区的研究人员能更多地参与其中。通过 网站和留言板，我们期望持续对 RECORD 规范相关方面进行评论和讨论，这可能促成未来的正式修订。通过这个在线社区，RECORD 将成为一个灵活的文档，以适应不同领域的变化。
公开发表和通过期刊推荐对改善研究报告质量来说还不足够[80]。研究者、期刊和同行评审员实施RECORD规范的方式是其重要的可测量影响[81]。因此，在线留言板包含对其应用的讨论论坛。我们还鼓励评价RECORD对该领域报告质量影响的评价，从而可使该规范提供可衡量的益处。
4结论
RECORD 规范是 STROBE 声明在使用常规收集数据实施的观察性研究中的扩展。根据研究和发表的意见，我们以清单的形式编写了规范以及配套的解释性文件。已有研究证明报告指南改进了研究报告质量，从而使读者能够了解结论的优势、局限性和准确性[12, 82-84]。同时，我们期望 RECORD规范将随着该领域研究方法的发展而改变，该指南将在未来几年内有助于促进对研究进行充分报告。随着作者、期刊编辑和同行评议人员的使用，我们期望 RECORD 规范可切实改善使用常规收集卫生数据实施的研究的报告的透明性、可重复性和完整性。
全科每日学报每天为您速递以下内容
欢迎关注和推荐给您身边的全科医生
最新申报
：国家科技部、国家自然科学基金、国家社会科学基金申报；
：速递上海市科委年度各类科研项目申报通知和中标结果；
：速递上海市科委的年度各类科普项目申报通知和中标结果，一般一年有四轮申报，且项目品类逐步增多；
：上海卫健委下属一般有三个项目下发和申报的口径，分别是：科技教育处、政策法规处、中医药发展办公室，这里为你提供全部申报信息！上海市人民政府决策咨询课题也在此处查看！
：上海市医学会、中医药学会、医院协会、护理学会、中西医结合学会、社区卫生协会、医师协会等各级横向行业组织发起的各类人才、学科、专项申报；
行业资讯
国内外全科医学和社区卫生相关的最新热点资讯发布；
学术会议
：经典全科会议年度大会通知、会议纪要；相关学科年度学术会议通知、会议纪要；
期刊速递
：跟踪中、英、美、澳、加全科医学与社区卫生领域权威的学术期刊最近刊文进展；
政策追踪
全科医学和社区卫生相关的最新政策发布；
科学研究的逻辑方法工具
：全科医学相较于其他的二级临床学科，有其非常独特的内涵，即其研究范畴，是真正意义上包括了生物、心理、社会三个维度，且是真正落实到临床实践中；由此决定了全科医学的科研方法，必须横跨生物-心理-社会三个领域，复杂性是其最大的特征。不过，我们倡导归一的方法论，来带你越过学科间的沟壑，抵达真正的真理王国，为健康守护加分！
研究中的规范与伦理
：科研相关最新政策法规，关于学术不端认定和经费使用规定；
学科知识
：社区卫生的行业特点是极其鲜明的，要开展高效优质的学科建设，必须厘清它的内在逻辑！
：认识和重视医患沟通的本质，掌握医患沟通的有效技能和技巧，让我们和患者更紧密地合作，更好地健康下去！
：我们现在是以健康为中心，以健康为服务目标，那你说说，健康，到底是什么呢？带你解读不同观点，更好维护居民健康！
临床指南
：各学科最新指南速递；
量表工具
：健康相关的各类量表工具，一应俱全，涉及生物、心理和社会三个维度，量表工具既介绍开发背景，应用情况，量表正文，还介绍计算和统计方法及判断方法；
一键查询
：包含上海市所有社区卫生机构中标市级项目，并有尚未投标和投标后批复进程中的最新鲜之作！
：此库收录了社区卫生从业人员可以投稿的全部核心中文期刊及其投稿须知信息，帮助你快速选择适合的期刊，我们还会按需组织期刊征稿和期刊推介；
：在这里，我们首先要展示已发表的社区领域专题文章，同时征集所有愿意优先公开和分享的优质论文，收录在《中国社区健康管理研究》中，并在必要的时候，帮你启动优秀期刊推介工作，这也许是最快的公布和公开自己研究成果的通道和方式，注意在投稿前，将核心信息进行知识产权备案。
大数据内容分析，零基础入门教你如何实现数据魔方
采集交流 • 优采云 发表了文章 • 0 个评论 • 78 次浏览 • 2022-06-27 14:01
大数据内容分析，零基础入门教你如何实现数据魔方
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时， 查看全部
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时， 查看全部
大数据内容分析，零基础入门教你如何实现数据魔方
算法自动采集列表页推荐算法，把各个垂直领域里面排名靠前的链接保存下来，以及关键词批量搜索匹配自动筛选出来的数据等等。
首先会收集新闻、头条、条漫等各大网站的热门视频。其次，对视频进行加速和剪辑，变成4k格式，保存在本地，然后在网上下载高清视频。最后，根据平台审核机制，上传到聚合平台进行更加完善的内容推送。聚合平台的话，比如：今日头条，百度视频，腾讯视频，爱奇艺，优酷，b站等等。然后对各个平台进行批量采集，对采集到的视频进行分词、标签等等标签制作，标签制作的方法以及数据来源，可以看看老贼的课程：[内容行业分析]aso数据分析标签制作专项课其实视频制作的过程也是对整个内容分析的过程，可以看看老贼的文章，这个视频虽然是讲如何定位机器采集内容，但实际上也是对整个内容分析的过程。大数据内容分析，零基础入门，教你如何实现数据魔方。[内容行业分析]大数据内容分析技术课以上，供参考。
因为优酷已经默认保存基本所有的文本内容，而即使是二次元领域的视频，通常都会涉及个人经历、影评、团体观点等等，所以把文本内容当内容来采集，极度容易传播，分析的东西非常多。
一、采集常用的工具一般来说，常用的自动采集工具，都不在基础功能范围，而是打着大数据，数据采集，大数据解决方案之类的旗号，广告噱头。
主要分为以下几种：
1、爬虫工具：百度搜索：百度网盘搜索、百度识图等等...例如：图片视频图片歌曲音乐电影
2、开发工具：，例如多抓鱼，找兼职，快消品推广等等。
3、机器爬虫工具：，例如知乎回答机器爬虫工具例如，
二、自动采集时的一些基本原则一是长图必采，主要是为了防止恶意采集攻击；二是视频未上传，必须采集完整版，视频没有上传，被人私信询问无法采集，这样需要提前规避避免跳转，就是类似某奇艺的认证账号，每次上传视频后，都会在自己的邮箱发送视频地址，虽然不是每条视频都会发送，但被找过还是会受理...三是有些视频切不出来，无法采集的情况，例如正在热播的电视剧、电影、游戏等等。
但是是否采集完整版，
一、使用之前采集的视频（需要注意的是，采集的视频已经有明确结构，如表情包），
二、将采集的视频按照一定的数据要求进行拆分，即所有表情包都采，但只要有一两个就采，可以是一个表情包，也可以是多个表情包，同样的逻辑有内容比较丰富的，如一个题目采集多个就可以了。
三、采集时，
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 79 次浏览 • 2022-06-25 13:13
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 81 次浏览 • 2022-06-23 07:31
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
采集交流 • 优采云 发表了文章 • 0 个评论 • 51 次浏览 • 2022-06-21 02:16
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01 查看全部
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01 查看全部
神策杯 2018高校算法大师赛(个人、top2、top6)方案总结
神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。
本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。
比赛链接：
数据集数据地址：
密码：qa2u
02任务
个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。
03数据
备注：报名参赛或加入队伍后，可获取数据下载权限。
提供下载的数据集包括两个部分：1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。
说明：标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。
04个人初赛第十一名方案
基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来
神策杯”2018高校算法大师赛 B榜排名(13/583)
4.1 得分情况
4.2 数据分析：
4.3 提升技巧
词性标错
这个是导致tf-idf提取关键字误差较大的原因
4.5 核心代码：
# -*- coding: utf-8 -*-<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Author : quincyqiang<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @File : analysis_for_06.py<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># @Time : 2018/9/5 14:17<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pickle<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import pandas as pd<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from tqdm import tqdm<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba.analyse import extract_tags,textrank # tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />from jieba import posseg<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import random<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />import jieba<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />jieba.load_userdict('data/custom_dict.txt') # 设置词库<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> nrt <br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> v 动词 t 时间词<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />'''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />test_data=pd.read_csv('data/test_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />train_data=pd.read_csv('data/new_train_docs.csv')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /># allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />def generate_name(word_tags):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word_tag in word_tags:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if word_tag[0] == '·' or word_tag=='！':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> index = word_tags.index(word_tag)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if (index+1) 1]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if '·' in title :<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(title_keywords) >= 2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = title_keywords[1][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # print(keywords,title,word_tags)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_1 = title_keywords[0][0]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> key_2 = ''<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(key_1)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(key_2)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 使用tf-idf<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> use_idf += 1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words = []<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for keyword in title_keywords:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(keyword[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if keyword[1] in ['nr', 'nz', 'nt', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([keyword[0]] * len(keyword[0]))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> abstract_text = "".join(doc.split(' ')[:15])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> for word, tag in jieba.posseg.cut(abstract_text):<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag == 'n':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.append(word)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if tag in ['nr', 'nz', 'ns']:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_words.extend([word] * len(word))<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> primary_text = "".join(primary_words)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # 拼接成最后的文本<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # ---------重要文本-----<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> if len(temp_keywords)>=2:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(temp_keywords[1])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> else:<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_1.append(temp_keywords[0])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> labels_2.append(' ')<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> data = {'id': ids,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label1': labels_1,<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> 'label2': labels_2}<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> df_data.to_csv('result/06_jieba_ensemble.csv', index=False)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> print("使用tf-idf提取的次数：",use_idf)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />if __name__ == '__main__':<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> # evaluate()<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /> extract_keyword_ensemble(test_data)<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />© 2021 GitHub, Inc.<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
以下整理来自国内大佬无私的风向
05“神策杯”2018高校算法大师赛第二名代码
代码链接：
文章链接：
队伍：发SCI才能毕业
5.1 目录说明
jieba：修改过的jieba库。
字典：存放jieba词库。PS：词库来源于搜狗百度输入法词库、爬虫获取的明星词条和LSTM命名实体识别结果。
all_docs.txt: 训练语料库
train_docs_keywords.txt：我把明显错误的一些关键词改回来了，例如D039180梁静茹->贾静雯、D011909泰荣君->泰容君等
classes_doc2vec.npy：gensim默认参数的doc2vec+Kmeans对语料库的聚类结果。
my_idf.txt：计算得来的语料库的idf文件。
lgb_sub_9524764012949717.npy LGB的某一次预测值，用于特征生成
stopword.txt：停用词
Get_Feature.ipynb：特征生成notebook，对训练集和测试集生成对应的文件
lgb_predict.py：预测并输出结果的脚本。需要train_df_v7.csv和test_df_v7.csv。
train_df_v7.csv，test_df_v7.csv：Get_Feature.ipynb 跑出来的结果，notebook有详细特征说明
word2vec模型下载地址： 提取码：tw0m。
doc2vec模型下载地址：链接： 提取码：0ciw.
5.2 运行说明
运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
运行lgb_predict.py 获取结果sub.csv。
numpy 1.14.0rc1<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />pandas 0.23.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />sklearn 0.19.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />lightgbm 2.0.5<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />scipy 1.0.0<br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" /><br style="margin: 0px;padding: 0px;max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
5.3 解题思路方案说明
利用jieba的tfidf方法筛选出Top20的候选关键词
针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
样本文档自身特征：例如文本的长度、句子数、聚类结果等；
候选关键词自身特征：关键词的长度、逆词频等；
样本文本和候选关键词的交互特征：词频、头词频、tfidf、主题相似度等；
候选关键词之间的特征：主要是关键词之间的相似度特征。
候选关键词与其他样本文档的交互特征：这里有两个非常强的特征，第一是在整个数据集里被当成候选关键词的频率，第二个与点击率类似，算在整个文档中预测为正样本的概率结果大于0.5的数量（在提这个特征的时候我大概率以为会过拟合，但是效果出乎意料的好，所以也没有做相应的平滑，或许是因为结果只选Top2的关键词，这里概率选0.5会有一定的平滑效果，具体操作请看lgb_predict.py的31-42行）。
利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。
06第六名方案 Rank 6 / 622
代码链接：
07总结
这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：
基于无监督方法：LDA，TFIDF，TextRank
基于Feature Engineering：基于无监督生成候选词，然后构建特征训练二分类模型
基于深度学习的关键词提取：span、bio、bmes crf序列标注等方法
08更多资料
谈谈医疗健康领域的Phrase Mining
加微信进交流群：1185918903 备注：ChallengeHub01
算法自动采集列表的话，可以用magento这样的建站系统
采集交流 • 优采云 发表了文章 • 0 个评论 • 111 次浏览 • 2022-06-19 03:00
算法自动采集列表的话，可以用magento这样的建站系统
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。 查看全部
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。 查看全部
算法自动采集列表的话，可以用magento这样的建站系统
算法自动采集列表的话，可以用magento这样的建站系统，用户可以通过标题、描述、下面评论、图片、评论人、关键字、原始链接、品牌商、广告商来自定义等，
b2c有免费的
免费的排名不靠前，
1，
5118专注做seo外链搜索
seo快车app，从注册到收益都可以自己设置。最近在上a5平台，很简单。
5118建站平台免费的，seo外链同步，
5118建站平台
国内有很多做外贸的电商公司都需要做seo优化，这个时候你就可以选择国内的建站平台去操作就好了。我就是这样做的，你可以试试。
seo外链b2c网站就用5118建站平台，免费的，而且外链来源都是网站搜索的结果页内容源，外链数量多就能够提升排名。
a5不错的，使用也挺方便的。
免费的就得用搜外网站了，专业做seo优化的，有各种专题页的，
a5建站
5118建站
千里马建站不错，老板也喜欢用的。seo方面做的是实战专业的。
用5118建站平台不错，收录速度快，收录的都是正规外链。收藏夹，网站地图都可以添加，自定义网站地址，外链密度和百度收录率还能设置多少，真的挺好用的。
看你做的是什么行业的，也要针对的看看有什么特点。有些行业用5118比较好。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 59 次浏览 • 2022-06-18 17:46
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 457 次浏览 • 2022-06-18 04:15
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
无需代码爬虫，小白也能操作采集各行业数据
采集交流 • 优采云 发表了文章 • 0 个评论 • 178 次浏览 • 2022-06-18 03:50
无需代码爬虫，小白也能操作采集各行业数据
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar 查看全部
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar 查看全部
无需代码爬虫，小白也能操作采集各行业数据
1、阿里巴巴、慧聪网、还有很多的商贸网站等
2、工商营业公示信息
2、掌握各种采集工具，轻松找到目标群体数据，挖掘数据。
（以公开展示数据为主）
目前市面上有很多的采集工具，都是被破解的，几百块可以买到很多套傻瓜式采集软件，可采集：企业名录、搜索引擎、百度地图商家、外卖商家等渠道，简单操作，只需要输入“关键词”就可以搜索到想要的数据。
集客网：
有200多款软件，终身费用：299元/人，软件只能一个IP登陆，不支持多台电脑同时登陆。
下面给大家展示部分平台的采集：
（相关平台数据采集工具）
（搜索引擎搜索服装关键词）
（百度地图商家数据）
网页版地图商家信息采集（免费）
功能：
1、网页形式采集
2、输入关键词
3、选择地区
4、选择数量
提交采集一键轻松获取百度商家信息。
前面说的商贸、百度搜索引擎、百度地图商家采集的数据，接下来说一款免费的企业主信息工具采集，功能可媲美天眼查、企查查等平台，最重要是免费好用、还支持导出表格。
APP:近来近往
功能：
1、可看最新注册的企业
2、扫楼，输入大厦名称就可以直接查看大厦内有什么公司。
3、找附近的企业，方便销售员上门拜访。
4、找企业，按关键词搜索企业。
5、找老板，可按人名查询企业。
6、自带电子名片。
举个例子：我搜索了服装公司，APP会根据我的定位，把我附近的服装公司推荐给我，直接导出就可以看到服务公司的法人联系方式。
3、最简单操作的爬虫工具
如果有人觉得以上的平台数据不能够满足自己，另外还有一些平台的数据想要采集，但没有合适的工具。这里给大家推荐一款是我目前用过最傻瓜式的优采云采集器。
优采云采集器：
功能点：
1、傻瓜式操作，只要填写你要的网站，然后点击下一步就可以轻松采集。
2、智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。
3、自动识别：列表、表格、链接、图片、价格等
4、流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。
5、可模拟操作：输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。
这里给大家举个阿里巴巴采集的操作：
1、找到阿里巴巴网站，输入关键词“服装”，复制网址。
2、打开优采云采集器，选择智能模式：
3、把刚刚搜索服装得到的网址复制进去，点击创建。
4、因为阿里巴巴查看商家联系方式是要登陆的，等软件采集规则自动加载完后，要点击右上角的预登陆。登陆你自己的阿里巴巴账号跟密码。
5、登陆完毕之后，软件要重新加载一次采集，采集加载完毕之后，要点击深入采集。
6、深入采集之后，就会加载页面，要分页设置为：瀑布流分布
页面就会重新加载，加载之后就把商家的手机号码采集出来了，点击开始采集。
7、开始采集之后，采集的数据会显示在界面，采集的速度有点慢，最好是找台电脑专门来采集数据。
4、数据二次处理分析，验证是否开通微信号？
采集后的数据，还是比较乱的，需要通过软件来快速处理数据，去除重复的数据、座机电话号码、还有（）这些符号。
处理数据需要先下极速号码魔方2020：
筛选是否开通微信需要大数据软件：:66/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AD%9B%E9%80%89.rar
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 426 次浏览 • 2022-06-18 03:49
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
采集交流 • 优采云 发表了文章 • 0 个评论 • 149 次浏览 • 2022-06-18 02:35
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。 查看全部
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。 查看全部
面试官：比如有10万个网站，有什么快速采集数据的方法吗？
昨天有一个网友说，他最近面试了几家公司，有一个问题被问到了好几次，每次都回答的不是太好。
面试官：比如有10万个网站需要采集，你有什么方法快速的获取到数据？
想回答好这个问题，其实需要你有足够的知识面，有足够的技术储备。
最近，我们也在招聘，每周都会面试十几个人，感觉合适的也就一两个，大多数和这位网友的情况差不多，都缺乏整体思维，那怕那些有三四年工作经验的老司机。他们解决具体问题的能力很强，却很少能由点及面，站在一个新的高度，全面思考问题。
10万个网站的采集覆盖度，已经比大多数的专业舆情监控公司的数据采集范围都广了。要达到面试官说的采集需求，就需要我们从网站的收集，直到数据存储的各个方面进行综合考虑，给出一个合适的方案，以达到节省成本，提高工作效率的目的。
下面我们就从网站的收集，直到数据存储的各方面，做个简单的介绍。
一、10万个网站从哪里来？
一般来说，采集的网站，都是根据公司业务的发展，逐渐积累起来的。
我们现在假设，这是一个初创公司的需求。公司刚刚成立，这么多网站，基本上可以说是冷启动。那么我们如何收集到这10万个网站呢？可以有以下几种方式：
1)历史业务的积累
不管是冷启动，还是什么，既然有采集需求，一定是有项目或产品有这方面的需求，其相关的人员前期一定调研过一些数据来源，收集了一些比较重要的网站。这些都可以作为我们收集网站和采集的原始种子。
2)关联网站
在一些网站的底部，一般都有相关网站的链接。尤其是政府类型的网站，通常会有下级相关部门的官网。
3)网站导航
有些网站可能为了某种目的(比如引流等)，收集一些网站，并对其进行归类进行展示，以方便人们查找。这些网站可以快速的为我们提供第一批种子网站。然后，我们再通过网站关联等其他方式获取更多的网站。
4)搜索引擎
也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎中搜索，通过对搜索结果进行处理，提取相应的网站，作为我们的种子网站。
5)第三方平台
比如一些第三方的SaaS平台，都会有7~15天的免费试用。所以，我们就可以利用这段时间，把与我们业务相关的数据采集下来，然后提取出其中的网站，作为我们初始采集种子。
虽然，这种方式是最有效，最快的网站收集方式。但是在试用期内，获取10万个网站的可能也极小，所以尚需要结合上述的关联网站等其他方式，以便快速获取所需网站。
通过以上五种方式，相信我们可以很快的收集到，我们需要的10万个网站。但是，这么多网站，我们该如何管理？如何知道其正常与否呢？
二、10万个网站如何管理？
当我们收集到10万个网站以后，首先面对的就是如何管理、如何配置采集规则、如何监控网站正常与否等。
1)如何管理
10万个网站，如果没有专门的系统来管理，那将是一场灾难。
同时，可能由于业务的需要，比如智能推荐等，需要我们对网站进行一些预处理(比如打标签)。此时，一个网站管理系统将是必须的。
2)如何配置采集规则
前期我们收集的10万个网站只是首页，如果只把首页作为采集任务，那么就只能采集到首页很少的信息，漏采率很大。
如果要根据首页URL进行全站采集，则对服务器资源消耗又比较大，成本过高。所以，我们需要配置我们关心的栏目，并对其进行采集。
但是，10万个网站，如何快速、高效的配置栏目呢？目前，我们以自动解析HTML源码的方式，进行栏目的半自动化配置。
当然，我们也试验过机器学习的方式来处理，不过效果还不是太理想。
由于需要采集的网站量达到10万级别，所以一定不要使用xpath等精确定位的方式进行采集。否则，等你把这10万网站配置好，黄花菜都凉了。
同时，数据采集一定要使用通用爬虫，使用正则表达式的方式来匹配列表数据。在采集正文时，通过使用算法来解析时间、正文等属性；
3)如何监控
由于有10万网站，这些网站中每天都会有网站改版，或者栏目改版，或新增/下架栏目等。所以，需要根据采集的数据情况，简单的分析一下网站的情况。
比如，一个网站几天都没有新数据，一定是出现了问题。要么网站改版，导致信息正则失效常，要么就是网站本身出现问题。
为了提高采集效率，可以使用一个单独的服务，每隔一段时间，检测一次网站和栏目的情况。一是检测网站、栏目是否能正常访问；二要检测配置的栏目信息正则表达式是否正常。以便运维人员对其进行维护。
三、任务缓存
10万个网站，配置完栏目以后，采集的入口URL应该会达到百万级别。采集器如何高效的获取这些入口URL进行采集呢？
如果把这些URL放到数据库中，不管是MySQL，还是Oracle，采集器获取采集任务这一操作，都会浪费很多时间，大大降低采集效率。
如何解决这个问题呢？内存数据库便是首选，如Redis、 Mongo DB 等。一般采集用Redis来做缓存。所以，可以在配置栏目的同时，把栏目信息同步到Redis中，作为采集任务缓存队列。
四、网站如何采集？
就像是你想达到年薪百万，最大概率是要去华为、阿里、腾讯这种一线大厂，而且还需要到一定的级别才行。这条路注定不易。
同样，如果需要采集百万级别的列表URL，常规的方法也一定是无法实现。
必须使用分布式+多进程+多线程的方式。同时，还需要结合内存数据库Redis等做缓存，以实现高效获取任务，以及对采集信息进行排重；
同时，信息的解析，如发布时间、正文等，也必须使用算法来处理。比如现在比较火的GNE，
有些属性，可以在列表采集时获取的，就尽量不要放到和正文一起进行解析。比如：标题。一般情况下，从列表中获取到的，标题的准确度，要远大于算法从信息html源码中解析的。
同时，如果有一些特殊网站、或者一些特殊需求，我们再采用定制开发的方式进行处理即可。
五、统一数据存储接口
为了保持采集的及时性，10万个网站的采集，可能需要十几二十台服务器。同时，每台服务器上又部署N个采集器，再加上一些定制开发的脚本，整体采集器的数量将会达到上百个。
如果每个采集器/定制脚本，都自行开发一套自己的数据保存接口，则开发、调试就会浪费不少时间。而且后续的运维，也将是一件非糟心的事情。尤其是业务有所变化，需要调整时。所以，统一数据存储接口还是很有必要的。
由于数据存储接口统一，当我们需要相对数据做一些特殊处理时，比如：清洗、矫正等，就不用再去修改每个采集存储部分，只需要修改一下接口，重新部署即可。
快速、方便、快捷。
六、数据及采集监控
10万个网站的采集覆盖度，每天的数据量绝对在200万以上。由于数据解析的算法无论多精确，总是不能达到100%（能达到90%就非常不错了）。所以，数据解析一定会存在异常情况。比如：发布时间大于当前时间、正文中包含相关新闻信息等等。
但是，由于我们统一了数据存储接口，此时就可以在接口处，进行统一的数据质量校验。以便根据异常情况，来优化采集器及定制脚本。
同时，还可以统计每个网站或栏目的数据采集情况。以便能够及时地判断，当前采集的网站/栏目信源是否正常，以便保证始终有10万个有效的采集网站。
七、数据存储
由于每天采集的数据量较大，普通的数据库(如：mysql、Oracle等)已经无法胜任。即使像Mongo DB这样的NoSql数据库，也已经不再适用。此时，ES、Solr等分布式索引是目前最好的选择。
至于是否上Hadoop、HBase等大数据平台，那就看具体情况了。在预算不多的情况下，可以先搭建分布式索引集群，大数据平台可以后续考虑。
为了保证查询的响应速度，分布式索引中尽量不要保存正文的信息。像标题、发布时间、URL等可以保存，这样在显示列表数据时可以减少二次查询。
在没有上大数据平台期间，可以把正文以固定的数据标准，保存到txt等文件系统中。后续上大数据平台后，再转存到HBASE中即可。
八、自动化运维
由于服务器、采集器，以及定制脚本较多，单纯的靠人工进行部署、启动、更新、运行情况监控等，已经显得非常的繁琐，且容易出现人为失误。
所以，必须有一套自动化运维系统，能够实现对采集器/脚本进行部署、启动、关闭、运行等，以便能够在出现变动时快速的响应。
“比如有10万个网站需要采集，你有什么方法快速的获取到数据？”，如果你能回答出这些，拿到一个不错的offer应该没什么悬念。
最后，愿正在找工作的各位朋友，都能收获满意的offer，找到一个不错的平台。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 84 次浏览 • 2022-06-16 12:40
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 262 次浏览 • 2022-06-15 15:21
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
收藏 | 机器学习数据集汇总收集
采集交流 • 优采云 发表了文章 • 0 个评论 • 163 次浏览 • 2022-06-12 10:10
收藏 | 机器学习数据集汇总收集
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset 查看全部
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset 查看全部
收藏 | 机器学习数据集汇总收集
转载于：机器学习算法与Python实战
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
人脸素描数据集【CUHK】
自然语言推理(文本蕴含标记)数据集【NYU】
Berkeley图像分割数据集BSDS500【Berkeley】
宠物图片(分割)数据集【Oxford】
~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
多模态二元行为数据集【GaTech】
计算机视觉／图像／视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
大型(50万)LOGO标志数据集
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
基于MNIST的视觉计数合成数据集Counting MNIST
YouTube MV视频数据集【Keunwoo Choi】
计算机视觉合成数据集/工具大列表【unrealcv】
动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】
日本漫画数据集Manga109
俯拍舞蹈视频数据集
Pixiv(着色)图片数据集【Jerry Li】
e-VDS视频数据集
#download
Quick, Draw!简笔画涂鸦数据集
简笔画涂鸦数据集【hardmaru】
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】
COCO像素级标注数据集
大规模街道级图片(分割)数据集【Peter Kontschieder】
大规模日语图片描述数据集
Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）
(街头)时尚服饰数据集(2000+标注图片)
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
文本／评价／问答／自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
机器学习保险行业问答开放数据集【HainWang】
保险行业问答(QA)数据集【Minwei Feng】
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
实体/名词语义关系标记数据集【David S. Batista】
NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
错误拼写数据集
~ROGER/corpora.html
文本简化数据集
~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
跨语种/多样式/多粒度文本相似性检测数据集
Quora数据集：400000行潜在重复问题
文本分类数据集
Frames：Maluuba对话数据集
跨域(Amazon商品评论)情感数据集
~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
其它数据集
数据科学/机器学习数据集汇总
CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
(Matlab)数据集统计分布自动发现【Isabel Valera】
(建筑物)损害评估数据集【tsunami】
IndieWeb社交图谱数据集【IndieWeb】
DeepMind开源环境/数据集/代码集合【DeepMind】
鸟叫声数据集【xeno-canto】
Wolfram数据集仓库
大型音乐分析数据集FMA
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
用于欺诈检测的合成财务数据集【TESTIMON】
NSynth：大规模高质量音符标记音频数据集
LIBSVM格式分类/回归/多标签/字符串数据集
~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
StackExchange近似/重复问题数据集
2010-2017最全KDD CUP赛题回顾及数据集
食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
聚类数据集
官方开放气候数据集
全球恐怖袭击事件数据集【START Consortium】
七个机器学习时序数据集
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
赛马赔率数据集
新的YELP数据集：包含470万评论和15.6万商家
JMIR数据集专刊《JMIR Data》
日文木版印刷文字识别数据集
多模态二元行为数据集
机器学习论文/数据集/工具集锦(日文)
机器学习公司的十大数据搜集策略
NLP数据集加载工具集
日语相似词数据集
大规模人本完形填空(多选阅读理解)数据集
高质量免费数据集列表
《数据之美》自然语言数据集/代码
微软数据集MS MARCO，阅读理解领域的「ImageNet」
AI2科学问答数据集(多选)
常用图像数据集大全
（分类，跟踪，分割，检测等）
搜狗实验室数据集：
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
~xirong/index.php?n=Main.Dataset
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 80 次浏览 • 2022-06-06 04:51
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
算法自动采集、歌曲页、评论页及详情页。
采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-06-05 23:01
算法自动采集、歌曲页、评论页及详情页。
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。 查看全部
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。 查看全部
算法自动采集、歌曲页、评论页及详情页。
算法自动采集列表页、歌曲页、评论页及详情页。别人能看到你的请求吗？评论和点赞的用户看到你的请求吗？我问的是「自动爬虫」而不是「爬虫自动生成」--python和requests都可以做到自动采集的。我说的爬虫自动生成指的是先生成url然后统一取源文件。
crossreferenceproxy
我也刚刚学,准备找个网站试一下.但是我有个疑问就是,这样处理的话就很容易有下面这种情况你们觉得网页那些地方好抓取.?那你们写不写验证码呢?在知乎搜这个如何使用验证码即使这样,知乎上面的视频已经被疯狂的刷屏了,我这个好像不行,知乎上面有些视频也被疯狂的刷屏这是我抓取代码里面有的,请指教
在解决他们的请求之前，先来看看分析的流程。
1、创建一个async类asyncdefadd_reference(request):forkeyinrequest.url:ifkey=="":returnresp.contentelse:returnresp.json()returnrespdemo注释部分请脑补（这个比较方便检查content和json内容，还有parse里面的注释/return）：is_reference(request):这个async类实现了request.urlretrieve()方法，先forkeyinrequest.urlretrieve(''):一层一层地递归请求,key每次都是一样的那么就可以asyncdefadd_reference(request):先打印输出first和last的具体内容，并注意文件路径。
这里就打印全路径,asyncdefadd_reference(request):打印输出结果：1代表这个请求打开，然后尝试检查路径，while1：2代表打开，4代表没有打开：检查路径：找到目标路径，正常显示：3代表没有打开：尝试检查路径：找到目标路径，正常显示：4代表没有打开：尝试检查路径：找到目标路径，正常显示：.查看有没有请求失败：没有的话，尝试绕过这个split。
2、demo代码截图：
3、demo注释部分请脑补：asyncdefreg(request):returnrequest。urlretrieve(request)asyncdefget_reference_response(request):forkeyinrequest。urlretrieve(''):json。loads(json。
loads(request。urlretrieve('')))returnrespdemo注释部分请脑补：1是这样子定义一个async类的：3是这样子定义一个request。urlretrieve(request)：因为我们也已经有了app。
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 89 次浏览 • 2022-06-02 05:01
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
分页列表详细信息采集 | 2个月精通优采云第1课
采集交流 • 优采云 发表了文章 • 0 个评论 • 124 次浏览 • 2022-05-29 07:47
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程 查看全部
分页列表详细信息采集 | 2个月精通优采云第1课
在之前的教程中，我们以赶集网商铺数据采集、携程网旅游数据采集为例，感受了一波优采云嗖嗖嗖采集数据的常（li）规（hai）操作。
咦？这两个实战案例，规则配置长相似，采集流程有点像？
来吧，是时候溯本求源，透过现象看本质了。
网页内容由相似的区块组成，需要点击“下一页”进行翻页，再点击每个链接进入详情页采集数据，没错就是——分页列表详细信息采集。
本文中示例网站地址为：
在开始采集之前，需观察网页结构、明确采集内容。以示例网址为例，内容共有4页，每页有3个电影链接。我们需要点击每一部电影的链接，进入电影详情页，采集电影的剧情、上映时间等字段。
优采云基于 Firefox 内核浏览器，通过模拟人的思维操作方式，对网页内容进行全自动提取。以示例网址为例，在优采云里打开后，需先建立一个点击“下一页”的翻页循环，自动点击“下一页”翻页。再建立一个电影链接列表循环，以打开每个电影的链接，进入电影详情页。然后再采集电影详情页的数据。
1打开网页
1）登陆优采云7.0采集器，点击新建任务，选择“自定义采集”。进入到任务配置页面
2）输入要采集的网址，点击“保存网址”。系统会进入到流程设计页面，并自动打开前面输入的网址
2建立翻页循环
1）用鼠标点击“下一页”按钮，在弹出的操作提示框中，选择“循环点击下一页”。这个步骤会模拟人工，自动点击翻页
3建立循环列表
1）点击下图中第一个电影“教父：第二部”的链接，链接将被选中，用绿色框标注出来
2）优采云的智能算法，会自动检测出其他相似元素（本例中为其他两个电影标题链接）。在操作提示框中，选择“选中全部”，优采云自动选中全部电影链接
3）选择“循环点击每个链接”，优采云会自动逐个点击每个电影链接，进入电影详情页
4提取数据
1）点击页面中要提取的电影标题字段，标题字段即被选中，选中后以红色框标注出来
2）在弹出的提示框中，选择“采集该元素的文本”，表明要采集的是页面中的文本数据
3）以同样的方式，点击要采集的其他段，再选择“采集该元素的文本”
5修改字段名称
1）点击“流程”按钮，以显示“流程设计器”和“定制当前操作”两个板块。（在配置规则过程中，“流程”随时可打开）
2）在如下界面中，修改字段名称。这里的字段名称相当于表头，便于采集时区分每个字段类别。 修改完成后，点击“确定”保存
6启动采集
1）点击“保存并启动”，在弹出的对话框中选择“启动本地采集”。系统会在本地电脑上，开启一个采集任务并采集数据
2）任务采集完毕之后，会弹出一个采集结束的提示， 接下来选择导出数据，这里以选择导出excel2007为例，然后点击确定
3）选择文件存放路径，再点保存即可
然后，我们分分钟就得到了这样的数据
动图模式有木有学得更爽？
有任何建议或问题，请biubiubiu砸向我！
建议各位小可爱
学了分页列表详细信息采集
趁热打铁 实战一波
更多实战教程
