解决方案:关键词采集器通过插件实现开发过程中有这几个步骤

　　解决方案:关键词采集器通过插件实现开发过程中有这几个步骤

　　关键词采集器现在基本都是通过插件实现，开发过程中有这几个步骤：1。获取网站数据，如文章文章title,rel="selector"等2。将文章利用pagetolink插件提取到pagestream，文章link3。通过后期维护，提取post及相关数据3-1提取其他页面的数据，可以使用xpath，reederspider等3-2提取用户端链接（post等），文章页和feed页可以使用airbnb等3-3提取app或购物中心等页面的链接，可以使用bt*敏*感*词*等3-4如果还需要获取主站数据，可以使用网页抓取等插件。

　　方案有，百度统计，360统计，谷歌统计都有提供txt文档数据文件的抓取入口，看你采集哪些类型的数据，

　　文章列表通过分词是可以抓取到articlelistinglink的。如果愿意出钱，webpagedescriptionlink也是可以的。

　　推荐个免费软件：日本google统计和sitereport-10years200years

　　用一个免费的国内的tagul，

　　安装mongodb，可以对文章内链接，其他网站数据进行统计。

　　“不需要翻墙即可登录的yahoo统计平台”，到底是从哪里抓取的呢。

　　实际上市面上已经有这种程序可以抓取的了，例如谷歌统计平台（需要翻墙），如果你没有翻墙，那就只能用插件了。