内容网数据采集接口定义及手动处理流程

　　内容网数据采集接口定义及手动处理流程

　　数据采集及手动处理流程1 概述 本文主要描述内容网库对外定义的数据采集接口以及对于那些采集数据的手动处理流程。通过对现速网的剖析，我们觉得对于数据的采集主要是通过手工形式，爬虫爬取形式进行的，对于其他的采集方式，网信其实有提到，但是我们在如今的速网后台没有发觉相应的模块，希望网信相关人员通过对该文档的阅读，对于我们缺乏的采集接口做及时的补充。对于我们下边所设计的插口，希望网信相关人员可以提供测试数据供我们测试，2 采集接口定义2.1 爬虫 BT 接口2.1.1 待确认问题由于在原有的速网后台中，我们没有发觉该插口的设置界面，所以请相关人员就一下几个问题给予解答1. 爬虫是否会去爬取 BT 的信息2. 如果爬虫会爬取 BT 的信息，那么和 HTTP 爬取的信息是否一致？3. Bt 爬虫爬取的数据与 Bt 主动缓存解析的数据有哪些区别基于上述的问题，在没有获得网信相关人员答复的前提下，我们根据如下条件设计1.爬虫会爬取 BT 信息2.爬虫爬取的信息仅收录资源信息。2.1.2 接口设计调用方：爬虫系统调用频度：当发觉爬取到新的数据时实时调用或则每晚定时调用约束：确保每次发送的信息都是最新批次的数据输入参数: 输入参数明细如下18 FORMAT 文件格式 2 NAME 名称 用于完整性校准，判断去重 4 PROTOCOL 采集协议 5 LANGUAGE 语言( 6 CNT_SIZE 大小 7 QUALITY 质量 10 DATA_RATE 码流 11 INFOHASH Infohash 值判别去重 12 Duration 播放时长 13 URL 资源来源完整性校准输出:成功或则失败。

　　2.2 爬虫 HTTP 接口2.2.1 待确认问题1. 爬虫爬取 HTTP 在线资源时，资源资料信息是否同时采集？2. Http 爬取的资源中 是否带有电影名称 ，集数？基于上述的问题，在没有获得网信相关人员答复的前提下，我们根据如下条件设计爬虫爬取 HTTP 在线资源时，资源和资料信息不是同时进行采集2.2.2 接口设计2.2.2.1 爬虫 HTTP 资源插口 18 FORMAT 文件格式 2 NAME 名称 用于完整性校准，判断去重 4 PROTOCOL 采集协议 5 LANGUAGE 语言( 6 CNT_SIZE 大小 7 QUALITY 质量 10 DATA_RATE 码流 11 INFOHASH Infohash 值判别去重 12 Duration 播放时长 13 URL 资源来源完整性校准2.2.2.2 爬虫 HTTP 资料插口 编号 字段名称 说明 备注2 NAME 名称 电影名称3 LABEL 别名 4 DESCRIPTION 描述 电影的剧情描述5 HPOSTER 横向海报 6 VPOSTER 竖向海报 7 IS_HOT 是否热点 8 TAG Tag 栏 9 CHILDREN_COUNT 子集数目 10 AUTHOR 编剧 11 TV_NAME 电视台名 12 TV_HOST 主持人 13 SPAN 时长 播放时间14 COMMENTS 点评 15 LANGUAGE 影视语言(FK) 16 ACTORS 主要艺人 17 DIRECTORS 导演 18 PLAYDATE 影视开播日期 19 COUNTRY 地区分类(FK) 20 MOVIETYPE 影视分类(FK) 21 CONTENT_TYPE 题材分类(FK) 22 AVG_MARKS 评分 23 capture_site 采集点 判断是不是 10 大门户网站24 channel 频道 可用于分辨是否有集数，主演作者等一系列数组3 3 自动处理流程 手动处理流程的目的是对于采集接口获得的数据通过系统的手动内容筛选，自动内容质控，自动内容发布功能增强入库数据的质量，减轻人工编辑的工作量。

　　3.1 规则列表下方表格中定义了我们归纳出的筛选，质控，发布的规则，平台的规则引擎会手动按照下方的规则对数据进行处理。请按照实际情况对这种规则进行确认以及补充。筛选规则屏蔽资料垃圾数据通过对电影名称，播放地址进行非空判别。如有空数组，则把该数据放在垃圾表中处理。（资料） 屏蔽资源垃圾数据通过对电影名称，播放地址进行排空处理。如有空数组，则把该数据放在垃圾表中处理。（资源） 采集信息资料去重对“影片名称”进行比对。如有相同数据，则把该相对数据内容不全的资料放在垃圾表中处理。 采集信息资源去重对“播放地址”，“infohash”进行比对。如果数据相同。则删掉其中一条记录。 元*敏*感*词*去重 通过影片名，别名与元数据中原先资料进行对比，如果有相同资料，则此资料不添加到元数据库中。 元数据资源去重 http通过播放地址进行对比，bt通过infohash值进行对比。如找到相同记录，此资源状态改为屏蔽 添加到元数据库中。绑定入库 如果在去重阶段未找到相同记录。通过查找对应的电影名（资料查找资源） 进行绑定，反之，亦然。（资源 资料）对于有父子级关系的（例如电视剧）资料。如果库中没有子集资料。父子资料会手动生成子集资料供资源绑定。

　　审核规则合法性校准 判断各数组中是否有关键词（例如：*敏*感*词*词句），如果有则转到人工待初审（资源 资料通用）资源有效性校准 资源是否属于 10 大门户网站，如果是直接初审通过。向播放地址发送 ping 看是否有效。资料内容校准 首先判定资料是否属于 10 大门户网站，如果是,直接初审通过。对别称中出现的冒号，顿号手动转换成"/".去除”/“两边的空格。评分数组倘若高于 5 分，自动转为 5 分以上，如果评分为整数，则添加一位小数。对于编剧，演员，自动清除每一行的 前后空格。 对于剧情描述，首行空 2 个空格，自动添加或删掉多余空格。对于艺人，导演，如果名子不全（例如：张艺谋，但资料中是张艺）查找字典表，自动补全名称。演员亦是这么。 对于地区：如果地区为空，可通过艺人，导演来推测是那个地区。 假如频道对应的剧集，影片。那么艺人，导演不能为空。如果对应是*敏*感*词*，那么作者不能为空。如果对应是综艺，那么主持人，电视台不能为空。不符合规则,转为人工代初审分布管理规则 资源发布规则 根据资源的热度（点击率，排行，搜索次数）划分出若干个等级，根据热度等级的结合每位局点的缓存情况，下发到各个局点。

　　例如将热度分为高，普通，低3 个等级，对于等级为高的资源下发所有局点，对于热度为普通的资源只下发到缓存空间多的局点，对于热度等级为低的资源只下发到本地。缓存优化规则 1.当发觉某个资源的缓存进度仍然处于比较低的时侯，根据规则替换或则删掉该缓存2.当发觉一个资源被缓存多次时，应依据资源的缓存进度保留进度最高的资源，删除其他资源缓存。3.当发觉局点缓存空间过高，应按照每位资源的热度，缓存情况，清理资源，清理热度低，缓存进度低的资源。3.2 详尽描述 1 资源处理流程图资源在入库前，会进行完整性校准，同批次去重，资源可靠性初审等多重步骤，保证步入元数据的资源是真实可用。 资源在入库后会定时调用初审规则查看资源库中的数据是否符合初审条件，对于早已失效的链接等进行剔除操作。并且对符合发布条件的资源调用 分布管理机制，保证资源的最大利用率。2 资料处理流程图资料在入库前，会进行完整性校准，同批次去重，与元数据库去重等多重步骤，保证元数据的资料是惟一的。并且在入库之前也会调用哪些初审规则，尽量提早修正资料的中错误。 资料在入库后会定时调用初审规则查看资料库中数据完整性，可靠性，并对一些数据手动进行校准，修正。

　　并且对符合发布条件的资料进行发布。4 补充问题 合作伙伴引入调用插口在哪，该怎么调用,能否提供？三严三实举办以来，我认真学习了习近平总书记系列讲话，研读了中央、区、市、县关于党的群众路线教育实践活动有关文件和资料。我对个人“四风”方面存在的问题及缘由进行了认真的反省、查摆和分析，找出了自身存在的众多差别和不足，理出了问题存在的缘由，明确了今后努力的方向和整改举措。现将对照检测情况报告如下，不妥之处，敬请诸位领导和同志们批评见谅。 一、存在的突出问题 一是学习深度广度不够。学习上存在形式主义，学习的全面性和系统性不强，在抽时间和挤时间学习上还不够自觉，致使自己的学习无论从广度和深度上都有些缺乏。学习制度坚持的不好，客观上指出工作忙、压力大和事务多，有时不耐心、不耐烦、不耐久，实则是缺少学习的拼劲和恒心。学用结合的关系处理的不够好，写文章、搞材料有时上网堆砌，求全求美求好看，结合本单位和实际工作的实质内容少，实用性不强。比如，每天对各级各种报纸甚少及时去阅读。因而，使自己的知识水平跟不上新形势的须要，工作标准不高，唱功好，做功差，忽视了理论对实际工作的指导作用。 二是服务不深入不主动。

　　工作上有时习惯于按部就班，习惯于常规思维，习惯于凭老观念想新问题，在统筹全局、分工协作、围绕中心、协调方方面面上还不够好。存在着为领导服务、为基层服务不够到位的问题，参谋和助手作用发挥得不够充分。比如，到乡镇、部门、企业了解情况，有时浮皮潦草，不够全面系统。与基层群众谈心交流少，没有真正深入到群众当中了解一线情况，掌握的第一手资料不全不深，“书到用时方恨少”，不能为领导决策提供更好的服务。 三是工作执行力不强。日常工作中与办公室同志谈心谈话少，对党员思想状态了解不深，疏于管理。办公室其实制订颁布了公文*敏*感*词*、工作守则等规章制度，但执行的意识不强，有时流于形式。比如，办公场所禁止吸烟，这一点我没有严格执行，有时还在办公室抽烟。 四是工作创新力不高。有时工作上习惯于照猫画虎，工作但求过得去、不求过得硬，存在着求稳怕乱的思想和患得患失心理，导致工作上不能完全放开四肢、甩开手臂去干，缺少一种勇于负责的担当和魄力。比如，做协调工作，有时真成了“传麦克风”和“二传手”，只传达领导交办的事项，缺乏与有关领导和同志共同接洽怎样把事情做得更好，创造性地举办工作。 五是深入基层调查研究不够。工作中，有时疏于具体事务，到基层一线督查不多，针对性不强，有时为了完成任务而督查，多了一些“官气”、少了一些“士气”。

　　往往是听汇报的多，直接聆听群众意见的少；了解面上情况多，发现深层次问题少。比如，对省委提出的用三分之一时间下基层搞督查活动，在实际工作中却没有做到。即使下基层，有时也是走马观花，蜻蜓点水，让看什么看哪些，让听哪些听哪些。在基层扶贫工作上，有时只重视出谋划策，抓落实、抓具体的少，对群众身边的一些小事情、小问题关心少、关注不够。 六是主观能动性发挥不够。自觉得在办公室工作多年，已经能否胜任工作，有自傲情绪，缺乏俯下身子、虚心讨教、不耻下问的心态。对待新问题、新情况，习惯于按照简单经验提出解决办法，创新不足，主观上存在满足现况，不思进取思想，主观能动性发挥不够。 七是对工作细节注重不够。作为办公室负责人，存在抓大放小，不能做到知上、知下、知左、知右、知里、知外，有时在一些小的问题上、细节上没有做好，导致工作落实不到位，出现误差。 八是工作效率不是很高。面对比较繁杂的工作任务，工作有时拈轻怕重、拖拉应付、不够认真。存在不推不动、不够主动，推一推进一动、有些被动。比如，文稿材料的撰写，有时东拼西凑、生搬硬套、缺乏深入思索。有时也存在着推诿扯皮现象，不能及时完成，质量也无法保证。对于领导交办的事项，有时跟踪、督导的不够，不能及时协调*敏*感*词*，缺乏应有的紧迫感，缺乏开拓创新精神，致使工作效率不高。

　　 二、产生问题的诱因剖析 认真反省和深刻探讨自身存在的问题与不足，主要是自己没有强化世界观、人生观、价值观的改建，不重视提升自身修养，同时受社会不良风气的影响，在具体应对上没有挺好地掌握自己，碍于情面随波逐流。产生问题的缘由主要有以下几方面。 （一）自身放松了政治理论学习。对政治理论学习的重要性认识不足，重视程度不够。尤其是在处理工作与学习关系方面，把工作当做硬任务，把学习当做软指标，对政治理论学习投入的心思和精力不足，缺乏自觉学习的主动性和积极性。 （二）宗旨意识有所淡化。由于乡镇工作比较辛苦，从基层回到机关工作后，产生了松口气的念头，有时不自觉形成了优越感和骄傲自满的情绪。听惯了来自各方面的赞扬之声，深入基层少，对群众的呼声、疾苦、困难了解不够，没有树立较强的大局意识和责任意识，使得自己有时会片面地觉得只要做好本职工作，完成领导交办的任务就行了，而无法完全发挥自身的主观能动性，缺乏做好工作应有的责任心和紧迫感。 （三）忧患意识不强。只是片面见到了自身工作生活环境的变化，吃苦耐劳的精神有些欠缺，开拓进取、奋发有为、敢于冲锋、勇于担当的锐气有所弱化。有做“太平官”的意识，身处领导岗位，求新、求发展意识薄弱，表率作用发挥得不够好，忽视了工作的积极性、主动性和创造性。

　　 （四）勤政廉政意识有所弱化。随着自身经济条件的改善，降低了约束标准，勤俭节约的传统美德有些淡化，对奢靡之风的极端危害性认识不足，没有造成高度注重。 诚然，造成自身存 在问题的诱因远不止这种，还有好多，如自身的固化思维方法，缺乏居安思危的深层次思索等。 三、今后的努力方向和改进举措 查摆问题，剖析症结，关键在于“洗澡治病”、解决问题。本人决心从党性原则出发，端正心态、认真对待，在今后的工作中采取强有力举措，立行立改，取得实效。 （一）求真务实 办公室校长作为承上启下、协调全局、沟通内*敏*感*词*绕领导关心的重大问题进行广泛深入的调查研究，为领导决策提供真实情况和可靠根据。要广泛采集资料，研究各乡镇、机关单位的新情况、新经验、新做法，借“他山之石”来攻玉，为领导提出决策预案。

　　因此，在想问题、办事情时，要赶前不赶后，尽可能早半拍、快半拍，提高敏感性，增强主动性。唯其这么，才能变被动为主动，“参谋”才能参在点子上，“助手”才能助到关键处。 三是提高创新意识。要加强服务理念，做深、做透、做好服务工作；要以协调、配合作为服务的主要手段和技巧，做到服务不越位；要围绕解决难点和热点问题举办服务，切实通过服务和协调把你们普遍关心、关注的热点焦点问题解决好，以实际行动取信于民。 （二）勤政为民 办公室既是贯彻落实省委、政府决议的执行部门，也是督促落实省委、政府决议的监督部门。破除官僚主义，勤政为民应该做好“四件事”。 一是擅于走入群众。从群众中来，到群众中去，是党的各项工作才能取得成功的一大法宝。开展群众路线教育活动，破解“官僚主义”，依靠的仍然是人民群众。工作中，要力戒高高在上、脱离群众、脱离实际的“官老爷”做派，多与群众接触，从群众中吸取智慧和力量，养成问计于民的好习惯。 二是敢于解难事。务实从严，是每位干部党员对待工作的正确心态。要把这些心态落实到每一项工作中去，要戒掉贪恋淫逸、讲求舒适、怕吃苦、饱食终日、碌碌无为的不良作风，承担起肩上的责任，做到为官一任，作为一方。

　　 三是简化办事程序。要急群众所急、想群众所想，尽最大可能提升办事效率，加快办事速率，一切从实际出发，勤俭从政，效率为先。 四是接受监督。联系群众更要相信群众，加强民主更要多听民声。工作中时时处处应当考虑到群众利益，自觉主动接受群众监督，让工作举办得更有人气和活力。 （三）艰苦奋斗 要统筹制订领导干部办公用房、住房、配车、秘书配备、公务接待等工作生活待遇标准，落实不附赠、不接受礼品的规定，切实解决违背规定和超标准享受待遇的各类问题。要结合“治治病”的要求，按照中央八项规定，边学边查边整改，对照穿衣镜，深挖思想症结，净化心灵，摒弃享乐主义，坚持艰苦奋斗，以良好的精神状态和奋发有为的面貌赢取人民群众信任。 （四）廉洁自律 作为干部党员，无论什么时候，群众本色不能变，群众情结不能淡。要自觉强化党性修养，牢记全心全意为人民服务的宗旨，净化思想、洗涤灵魂、增强党性、明确航向。在一直保持为人民服务中追求高雅的生活情趣、锻造完善和谐的心理状态、