内容采集(内容采集的话，我一般是去虎嗅，it公论)

　　内容采集(内容采集的话，我一般是去虎嗅，it公论)

　　内容采集的话，我一般是去虎嗅，it公论。网站收到文章后，我会根据时间顺序，把用户评论一并爬下来。然后处理一下数据，比如根据时间的不同，设置各个时间段的url地址，以及关键词，文章内容也可以自定义一下，这样可以多个角度的分析。

　　说个日常在做的吧，数据不是我原创，很少整理。只是自己跑一遍可能用不了多少时间（不是特别大的量），跑一遍所有我有的数据的爬虫，可能几千几万条记录，这样的爬虫我会给对方，另外我以前的搜索数据抓取我会给我的spider去用，我会自己再找别人要数据另外我也整理过其他的搜索数据，其实这里面有很多整理方式和搜索策略，不是一篇答案就能讲完的，爬虫数据整理起来要看收集对象是谁，有什么特性（行业，网站，地域），人工编写可能是不够的，推荐使用机器学习技术；不过也有局限性，比如爬虫你要知道爬虫技术里面各种机器学习技术，我手写好的爬虫要作弊手段很多，很难保证程序不犯错误，于是爬虫整理，爬虫时间搜索等我会找别人定制好的。

　　手爬虫目前用爬虫的spider比较多，整理规律的，还是自己慢慢整理，采集到的数据有时候不像是我们想象的那么回事，翻翻的采集工具都一样，但是它们要采集的东西是不一样的，不是所有的东西都需要我们去做整理和规律整理的，可能你听这么说觉得那我去找spider就好了，很遗憾，这是不可能的，首先就是你确定你想采集的东西是什么，然后让它自己告诉你，就算你找到了你想要采集的数据，那么这个数据你可能要去做一个组合，比如下面我采集其中一个指标，然后然后去发帖数也好，转发数也好，点赞数也好，首页的点击数也好，商品数也好，想让它以什么形式展示出来，它才会是一个你想要的东西，而你的内容要说明白了，组合得不错，那才是一个可用的，量比较多的内容你是这么整理的吗？或者不是一个搜索框就能找到你想要的东西的。