网站文章采集一般都有有共性的流程如下步

　　网站文章采集一般都有有共性的流程如下步

　　网站文章采集一般都有共性的流程如下：①.第一步，找素材：搜索引擎，有需要什么资源一定要及时爬取保存。不要脱离网站爬取，一方面是为了降低爬取成本，另一方面也要控制流量，毕竟你长期霸占有效位置你就是流量的爸爸②.第二步，利用python解析抓取资源③.转换成数据库索引数据。这样后期在导入数据库更容易。④.转换成格式，一般是html等⑤.存储。

　　比如post将文件上传到服务器⑥.存储到数据库中。⑦.展示就相当于互联网广告推广一样，网站文章采集返回的数据一般都是非结构化数据，全文导入到数据库之后一般都是通过搜索引擎去查询互联网的其他知识，从而达到推广的目的。就算你用到爬虫技术，不过采集的不是全网的数据，有时候本地存储也能解决部分问题。所以只是采集的数据量不要影响，并不会对未来网站的发展造成负面影响。

　　可以我看了下ngrok，

　　说明真的是你们技术不过关，过于关注去请求数据了，个人觉得你们把爬虫和爬虫爬取整合在一起，数据输出再输入就可以了！你们的数据都是通过ngrok代理端对端，简单粗暴省事也不占电。我要是公司，就从爬虫抓取群去做些大量的用户留言数据，然后送给用户使用。别的不多说，我相信能提出这样的问题和提出这样的方案，你们以后技术还是过关的。