解读:智能写作生成摘要使用说明

　　解读:智能写作生成摘要使用说明

　　Minato Smart伪原创文章Writing Aids是结合自然语言处理算法开发的原创文章*敏*感*词*。Minato Smart Writing深耕写作领域多年，针对百度、谷歌、360、搜狗等搜索引擎，将多项自然语言处理技术应用于写作业务，旨在帮助广大文字工作者写 原创文章。通过结合伪原创工具编写的文章，可以更好的被搜索引擎收录使用。

　　

　　微信二维码

　　

　　链接：

　　技巧:面试官：比如有10万个网站，有什么快速采集数据的方法吗？

　　昨天有网友表示，他最近采访了几家公司，被问了好几次问题，但每次的答案都不是很好。

　　采访者：比如有10万个网站需要采集，你是怎么快速拿到数据的？

　　要回答好这个问题，其实需要有足够的知识和足够的技术储备。

　　最近，我们也在招人。我们每周面试十几个人，觉得合适的只有一两个。大部分都和这位网友差不多，都缺乏大局观。即使是那些有三四年工作经验的司机。他们有很强的解决具体问题的能力，但很少能点到点，站在新的高度，全面思考问题。

　　采集的10万网站s的覆盖范围已经比大多数专业舆情监测公司的数据采集还要广。为了满足面试官提出的采集要求，我们需要综合考虑从网站的采集到数据存储的方方面面，给出合适的解决方案，以节省成本，提高工作效率。的目标。

　　下面我们就从网站的集合到数据存储的各个方面做一个简单的介绍。

　　1. 100,000 网站 是从哪里来的？

　　一般来说，采集的网站是随着公司业务的发展而逐渐积累起来的。

　　现在让我们假设这是一家初创公司的需求。公司刚成立，那么多网站，基本可以说是冷启动。那么我们如何采集这 100,000 个 网站 呢？有几种方法：

　　1）历史业务的积累

　　不管是冷启动还是什么，既然有采集的需求，那肯定有项目或产品有这种需求。相关人员前期一定研究过一些数据源，采集了一些比较重要的网站。这些可以用作我们采集的 网站 和 采集 的原创*敏*感*词*。

　　2) 关联网站

　　在一些网站的底部，一般都有相关的网站链接。尤其是政府类网站，一般都有下级相关部门的官网。

　　3)网站导航

　　有的网站可能会为了某些目的（比如吸引流量等）采集一些网站，分类展示，方便人们找到。这些网站可以快速为我们提供第一批*敏*感*词*网站。然后，我们会通过网站关联等其他方式获得更多的网站。

　　4) 搜索引擎

　　也可以准备一些与公司业务相关的关键词，去百度、搜狗等搜索引擎，对搜索结果进行处理，提取出对应的网站作为我们的*敏*感*词*网站。

　　5) 第三方平台

　　例如，一些第三方 SaaS 平台会有 7 到 15 天的免费试用期。因此，我们可以利用这段时间来采集我们业务相关的数据，然后提取其中的网站作为我们初始的采集*敏*感*词*。

　　虽然，这种方法是采集 网站 最有效和最快的方法。不过在试用期间，获得10万网站的可能性极小，所以还是需要结合上述关联网站等方法快速获得所需的网站。

　　通过以上五种方法，相信我们可以快速采集到我们需要的100,000个网站。但是有这么多网站，我们该如何管理呢？如何知道是否正常？

　　2、如何管理100,000个网站？

　　

　　当我们采集到100,000个网站s，我们首先要面对的是如何管理，如何配置采集规则，如何监控网站是否正常。

　　1）如何管理

　　100,000网站，如果没有专门的系统来管理，那将是一场灾难。

　　同时由于业务需求，比如智能推荐等，我们需要对网站进行一些预处理（比如打标签）。此时，将需要一个 网站 管理系统。

　　2）如何配置采集规则

　　前期我们采集的10万个网站只是首页。如果我们只把首页作为采集的任务，那么我们只能采集获取到很少的首页信息，泄露率非常高。

　　如果要基于首页URL进行全站采集，会消耗大量服务器资源，成本太高。所以，我们需要配置我们关心的列并 采集 他们。

　　但是，100,000 网站，如何快速高效地配置列呢？目前，我们通过自动解析HTML源代码来进行列的*敏*感*词*配置。

　　当然，我们也尝试过机器学习的方法，但结果并不理想。

　　由于采集的网站的数量需要达到10万，所以对于采集绝对不要使用xpath之类的精确定位方法。否则，当你配置100,000 网站时，黄花菜会冷。

　　同时，数据采集必须使用通用爬虫，使用正则表达式匹配列表数据。在采集文本中，使用算法解析时间、文本等属性；

　　3) 如何监控

　　由于有 100,000 个 网站s，这些 网站s 每天都会有 网站 修订，或列修订，或新/删除列等。因此，有必要根据采集的数据简要分析网站的情况。

　　例如，如果一个 网站 几天没有新数据，那么一定有问题。网站 的修订导致信息经常失效，或者 网站 本身存在问题。

　　为了提高采集的效率，可以使用单独的服务定期检查网站和列的条件。首先是检查网站和列是否可以正常访问；二是检查配置的列信息的正则表达式是否正常。以便运营商对其进行维护。

　　3.任务缓存

　　100,000 网站，配置栏目后，采集的入口URL应该达到百万级别。采集器如何高效获取采集的这些入口URL？

　　如果将这些URL放入数据库，无论是MySQL还是Oracle，采集器获取采集任务的操作都会浪费大量时间，大大降低采集的效率。

　　如何解决这个问题呢？内存数据库是首选，如Redis、Mongo DB等。一般采集使用Redis进行缓存。因此，在配置列时，可以将列信息作为采集任务缓存队列同步到Redis。

　　4. 如何网站采集？

　　就好像你想达到一百万的年薪，大概率是去华为、阿里、腾讯等一线厂商，需要达到一定的水平。这条路注定是艰难的。

　　同样，如果你需要采集百万级别的列表URL，常规的方法肯定是不可能的。

　　

　　必须使用分布式+多进程+多线程。同时，还需要结合内存数据库Redis等缓存，实现采集信息的高效任务获取和重排序；

　　同时，对信息的分析，如发布时间、文字等，也必须经过算法处理。比如现在比较流行的GNE，

　　在列表采集中可以获取一些属性，所以尽量不要和文本放在一起进行解析。例如：标题。正常情况下，从列表中得到的标题的准确度要远大于从信息html源码中算法得到的准确度。

　　同时，如果有一些特殊的网站，或者一些特殊的需求，我们可以使用自定义开发来处理。

　　5.统一的数据存储接口

　　为了保持采集的及时性，采集的100,000个网站可能需要十几二十台服务器。同时，每台服务器上部署N个采集器，加上一些自定义开发的脚本，采集器总数将达到数百个。

　　如果每个采集器/custom脚本都开发了自己的数据存储接口，会浪费大量的开发调试时间。而后续的运维也将是一件不坏的事情。尤其是当业务发生变化需要调整时。因此，仍然需要统一的数据存储接口。

　　由于统一的数据存储接口，当我们需要对数据做一些特殊的处理，比如：清理、修正等，不需要修改每个采集存储部分，只需修改接口和重新部署它。

　　快，简单，快。

　　6.数据和采集监控

　　10万网站s的采集的覆盖率绝对是每天200万以上。因为无论数据解析算法多么准确，也不能总是达到 100%（90% 就很好了）。因此，数据解析中必然存在异常。例如：发布时间大于当前时间，文字收录相关新闻信息等。

　　但是，由于我们已经统一了数据存储接口，此时我们可以在接口处进行统一的数据质量检查。为了优化采集器，根据异常情况自定义脚本。

　　同时，还可以统计每个网站或列的数据采集。为了能够及时判断采集的当前网站/列信息源是否正常，从而保证始终有10万个有效采集网站 .

　　7.数据存储

　　由于每天都有大量的数据采集，普通的数据库（如mysql、Oracle等）已经无法胜任。甚至像 Mongo DB 这样的 NoSql 数据库也不再适用。这时，ES、Solr等分布式索引是目前最好的选择。

　　至于是否使用Hadoop、HBase等大数据平台，还要看具体情况。在预算不多的情况下，可以先搭建分布式索引集群，再考虑大数据平台。

　　为了保证查询的响应速度，尽量不要将body信息保存在分布式索引中。可以保存标题、发布时间、URL等信息，从而减少显示列表数据时的二次查询。

　　在没有大数据平台的情况下，可以将文本保存到具有固定数据标准的txt等文件系统中。在大数据平台上跟进之后，就可以转入HBASE了。

　　八、自动化运维

　　由于大量的服务器、采集器、自定义脚本，单纯依靠手动部署、启动、更新、运行监控等变得非常繁琐，容易出现人为错误。

　　因此，必须有一个可以部署、启动、关闭、运行采集器/脚本的自动化运维系统，以便在发生变化时能够快速响应。

　　“比如有10万个网站需要采集，怎么快速获取数据？” 如果你能回答这些，应该没有悬念拿到好offer。

　　最后希望各位找工作的朋友都能拿到满意的offer，找到一个好的平台。