mysqlshiromongodbnodejscookiesessionfreemarker分布式爬虫（建议换python）大数据分析（一）

　　mysqlshiromongodbnodejscookiesessionfreemarker分布式爬虫（建议换python）大数据分析（一）

　　文章自动采集软件官网，上线两年，数据量已达15t。这个软件的特点，采用ajax技术实现异步下载，实现自动抓取能力。以上是官网的简介，具体操作步骤见教程。

　　大多数没效果，但是，如果你想要知道哪里有那么多，那么很好办，把链接发到github。github。github用这种方式，你可以轻松地查看已有项目repo,demo等数据我是做软件的，下面我说下我知道的一些吧mysqlshiromongodbnodejscookiesessionfreemarker分布式爬虫（建议换python）各种文件爬虫小网站（scrapy/httplib/mongv/crawler）gorilla分词lucene大数据分析（不要在大数据上实现）信息抓取，如果你是前端比如弄个swiper/animenius之类的,可以用那些库，这些库成熟程度不低。

　　或者直接用ajax方式和cookie一起抓取，新闻网站那种现在已经是不可能了，我认为社交网站靠谱，那些网站会存在多个数据库（或服务器）。---以上是常见的采集方式。