关键句采集原创文章基于语料建立摘要系统自动识别引用、核心观点及重要信息替换

　　关键句采集原创文章基于语料建立摘要系统自动识别引用、核心观点及重要信息替换

　　关键句采集原创文章基于语料建立摘要系统自动识别引用、核心观点及重要信息替换主句采用表格分类新媒体原创文章的原创性通过语言模型算法获取到图片版权信息基于图像库深度学习建立视频相似性模型为原创文章生成摘要样式：原始摘要+摘要+转换样式+原文样式采用训练集达到千万级别用户采集每篇原创文章；用户判断是否原创文章1%的内容作为区分（阈值为0.5%）一篇文章一年内或一年内所有内容作为候选名单；有效文章上交给技术平台可以多次进行上传训练加速文章识别速度（实时测量结果）2~4个工作日实现原创文章生成候选名单（使用图像识别、语言模型/语义摘要/机器翻译）如何评价文章质量：业内已经达到相当水平就可以引用？针对原创度高的文章，原创度越高使用准确率更高；对于文章的标注是个很繁琐的问题，很多人不愿意做；文章标注率低，中高端网站系统都会自己标注，没必要采用第三方标注，准确率更高。

　　因此选择短文章标注作为业务重点。3.文章如何录入？评估重点：阅读量、转发量、评论量、点赞数、新增的打赏、ugc贡献值、讲解率、讲解评分、讲解效果、讲解区域/关注公众号、讲解时间段、讲解分享页面密度、讲解高手数量等等。首先是阅读量，阅读量是加权的，能产生原创文章并看懂文章逻辑的前提下才会认真阅读。要求阅读量大就好办了。

　　但对于我们写手来说，阅读量和点赞不重要。转发量和评论的筛选已经有人实现了。原创产生阅读量：对整篇文章，将相似的文章文本保存为pdf，并点击阅读列表后，进行筛选，可以清楚的发现重复。当然也可以直接通过导出的指标来进行相似度的判断，还有利于提高写手的写作欲望，对于网站的流量与转化有帮助。如果不同平台的算法有区别，也可以通过导出来进行分析进行判断。

　　转发量和评论量是属于*敏*感*词*文章筛选的问题，针对评论比转发要多得多。如果单单是转发，获取的数据质量就大大下降。传统的*敏*感*词*文章评估方法，根据读者打开率和点赞率的和作为r值，这种方法在统计文章数据的时候有误差；为了改善这个误差，提升质量，才用了小样本进行评估。这样获取到的数据质量就会大大提高。转发量本质是网民对于文章的判断。

　　评论区对于文章的贡献最大，所以一般作为判断的关键。4.如何做到深度学习对文章的解读？这是我最近在解决的问题。基于mit的horn实验室的文本建模模型（word2vec+modelfeatures）实现原创文章的建模。为简化计算量，引入huffman编码，先计算每个字的前缀后缀，进行训练，得到输入文本里字的编码表。输入空间是已有词。