内容采集系统(找一个php爬虫，看看他们数据库里有多少东西)

　　内容采集系统(找一个php爬虫，看看他们数据库里有多少东西)

　　内容采集系统越来越多，而且所有内容整合采集难度也很大，需要整合采集的内容很多，你用爬虫技术采集也需要用到正则表达式，使用正则表达式采集可是就没有简单多少了，如果只是采集网站首页那可以使用简道云的内容采集系统来解决。

　　采集量太大，可以选择内容采集系统来解决，像他们有免费版本，但是如果要满足采集所有网站内容，或者说源码，就需要付费了。

　　个人建议如果有钱的话，都买个好的内容采集系统吧，因为这是云采集，内容都是本地采集过来的，其实蛮方便的。

　　最近发现的一个app,叫爬虫猫，可以爬虫网页，然后选择有兴趣的，直接提取就好，非常方便，也没什么过滤限制之类的。

　　如果不用考虑效率的话，建议买个采集器，去*敏*感*词*买两百，盗版网买个五十，是那种自动采集网页内容的（把网页全部上传），爬虫自己写。采集器也有免费版可以用，但更多的是要钱的，所以买个就得了。

　　微博上找一下各个网站的抓包，看看他们数据库里有多少东西，哪些是实际下载的，哪些是抓取的，

　　买个cms专门提供网页抓取，

　　利用htmlparsergenerator完全可以，你要哪个网站就实体网站爬去呗。找一个php爬虫为了不被封，php版本至少2.3或者以上吧。网页太多，爬起来太难，速度太慢。况且好多网站的数据爬完了，又该调用爬虫了。