做爬虫的人估计一下就能懂吧(图)

　　做爬虫的人估计一下就能懂吧(图)

　　文章采集器的作用主要是将用户提交的文章进行聚合、生成表格等，聚合生成表格之后可以生成成批次新闻，

　　例如，你用程序生成了一个爬虫，然后这个爬虫在使用爬虫抓取就会产生批量文章，再想以同样的模式抓取新闻就会变成批量文章。做爬虫的人估计一下就能懂吧。

　　这个问题的关键在于“爬虫”这个概念本身有多少范围，以及爬虫这个概念又分成几个层次。这个问题主要靠自己思考，可以先想一想。

　　这些结构化信息归结于表格是一个很自然的事情，传统的统计方法大都是这样的。用爬虫就可以做到，反倒不是很奇怪的事情，我们爬虫是可以将结构化数据，比如ip访问统计进来的，把全局统计信息作为基础数据进行对比分析。

　　说笑了，这个问题根本没有那么复杂。两个产品，一个是通过爬虫来爬的，一个是通过事件来抓取。但它们也有共同的地方，也就是通过事件来实现数据统计。这也是google产品经理所说的技术选型。

　　这是每个人都遇到的问题，多数人都想要让自己的生活更舒适一些，而这两个东西加在一起就无法分开了。以前有个网站，叫北京天空，从上面可以搜索到关于北京市的天气情况。这个不需要爬虫吧？人家也是可以生成网页让用户自己更改的。这个也需要爬虫吧？对于搜索引擎这种需要严格逻辑的东西，总是难以分开的。把信息量大的同一块内容在不同的地方爬，肯定有没爬好的地方，也必然有优势。

　　既然上百家自媒体，没有这样的统计工具，个人觉得还是要采用人工方式来管理一些内容，至少表格的做法有不适用的地方。有没有可能互相转化呢？。