web网站文章采集平台的工作流程及工作经验分享！

　　web网站文章采集平台的工作流程及工作经验分享！

　　网站文章采集平台有很多。我所知道的有三个，慕课网、文汇报和alluxio官网。其中慕课网和文汇报采集的是国外优秀的学习网站，比如scrapy、nginx、storm、mongodb等。alluxio官网采集*敏*感*词*大数据分析、数据仓库和数据挖掘技术博客。采集方式基本就是word或者pdf的形式保存，数据导入mongodb。

　　1.确定数据应该怎么采集我记得是从web的源代码？ibm和高德好像都从mongodb，需要写reporting脚本到mongodb上。可以根据网站类型去找2.一般从哪些网站下手的问题一般很多网站都提供了爬虫，只要下载的时候附带你爬虫的数据采集接口，比如头部采集，获取新闻，*敏*感*词*识别之类。也可以自己定义这个接口。baidu就是这样的。

　　web的爬虫的工作流程。1.构建爬虫业务模型主要围绕访问网站数据的过程，把重要的点数据弄清楚。2.接入爬虫网站除了登录用户的api，采用useragentreplacement是非常方便的。useragent可以有多种选择。useragentforproxy3.模拟ip访问4.模拟浏览器访问只要有数据爬取接口，保证代码安全，在采集模型已经爬取过的网站中抓取即可。

　　统计数据是从哪里来的？在什么情况下或者用什么渠道爬到数据，

　　1.web网站网站应该各有不同，应该要针对不同的网站制定不同的脚本语言，web网站不是那么容易进行数据抓取。比如需要用户redirect确定不同request请求的方式，用户ip地址估计没有分析价值。

　　1）文章的搜索和采集过程中爬虫需要处理很多字段。

　　2）一般根据用户ip，用户username，用户email，用户关注的话题等等收集数据。

　　3）awk对网页进行抓取，定时采集。有一次爬虫爬得好好的但是突然网速有点慢。结果挂掉了，不知道是网络问题还是爬虫爬不过来。