汇总:弹幕页面,爬取，收集数据了整理分析分析！

　　汇总:弹幕页面,爬取，收集数据了整理分析分析！

　　文章自动采集和发布。最终导出并可以导入爬虫爬虫上传数据。可以按照模拟登录频率和登录状态进行设置，主要是openid，我们只用一个人的openid就可以应付所有访问。

　　不想爬任何数据，只想每天看图形界面的效果的话可以考虑用metro风格的h5。

　　一个萌妹*敏*感*词*幕页面,爬个js就可以控制页面的转发/评论/赞了。

" />

　　没必要爬那么多数据

　　根据爬取不同的tag进行不同的处理。

　　处理的手段很多，直接下载有字段的数据，然后进行xml的解析或转化。另外还有一种是爬取不同网站后代码，进行字段匹配，或者算法匹配。

　　这两个网站比较类似，按照一些规则批量抓取即可，更为强大的方式有一些聚合工具(你懂的)，如dreamweaver等。

" />

　　我不知道回答楼主的都是些什么人，即使都用到了爬虫。

　　楼主先说说你是怎么爬的?

　　要自己写爬虫啊，不然url一多，一般的系统是跑不了的。其实可以进行ip检测，防止一些莫名其妙的ip爬。爬取，收集数据了整理分析一下挺有用的。

　　建议楼主找一找这些网站的meta信息，爬的时候把相关的信息填上，就很全面了。我这边是做地产的公司，在2015年对网站上爬的东西非常多，包括上海地区所有地产公司的信息（比如这个）。