自动采集数据(自动采集数据的算法大致可以简单分为2种方式)

　　自动采集数据(自动采集数据的算法大致可以简单分为2种方式)

　　自动采集数据的算法大致可以理解为“爬虫”，即用一个代码从页面抓取数据。一般来说可以简单分为2种方式1.外置采集器，的阿里巴巴，百度，有其自己的爬虫，第三方也可以对其用写脚本2.内置采集器，例如百度，阿里巴巴，云风等对页面进行抓取，写算法处理（pythonselenium,androidselenium等），处理后的数据送去“爬虫”抓取并存入数据库。

　　等于数据从服务器下载，然后把数据写到自己的服务器里去。

　　抓取数据不要求采用代理或者vpn等，甚至可以采用公用wifi等传统方式，在特定网站抓取数据，现有技术已经可以实现数据抓取和存储、响应自动处理等功能。

　　内置api

　　未来采用机器学习技术，通过进一步加深对页面数据的理解，向页面采集者发送信息推送服务，实现自动爬取数据。

　　用爬虫模拟浏览器的行为，通过在特定网站进行短期内的抓取，然后根据存储在数据库的抓取数据自动分析，

　　可以采用python编写程序，

　　采用自动代理池实现数据抓取

　　现在不需要数据代理那么简单，可以想想看，或者分析是否是同一个网站的不同页面数据，这样也可以达到，类似统计局不同数据都可以通过代理抓取再进行，然后再传到数据库里。