事实:第三方网站自动采集发布数据的几个缺点和缺点

　　事实:第三方网站自动采集发布数据的几个缺点和缺点

　　网站自动采集发布数据很多都是这样，如果你能开发一个抓取工具，可以获取用户访问网站的url地址，然后到第三方网站，把url地址解析出来。自然你需要留意第三方网站。用户在第三方网站留下了什么信息，网站搜索关键词之后就能知道。但是这种方法只能是从页面源代码上检索到。既然你能获取url，应该是能抓取第三方网站的url，用这种方法你可以抓取到网站关键词。

　　不过这个方法有以下几个缺点：网站数量太多的话效率不高。网站不是实时更新。效率一般都是比较低的。第三方网站账号处理一方面是url抓取的问题，对于动态化网站或者有大量存储链接的网站，一定要采用正则表达式，才能满足需求，我测试过快的一个url匹配数，对于快速从多个网站抓取关键词或者tag，快速抓取到具体网站地址，这个也是大量top页面中其中一个判断方法，详情看下面的链接。

　　另一方面是页面的更新问题，第三方网站一般非实时更新，有的网站几个小时就更新一次，那就没啥办法了。这两点你可以针对这两点做些实验。

　　如果是采集页面的话，建议登录下谷歌，google可以获取一些数据。采集关键词的话，一定要看爬虫的性能，不要用太差的机器，否则数据采集速度慢。

　　如果是互联网爬虫的话，有googlespider,百度spider,ucspider.实际上楼主想问的爬虫是指动态页面爬虫，那googlespider、百度spider、ucspider都行，动态页面太多，ie6浏览器甚至就会被抓取，爬虫需要加载非页面静态内容，比如编辑器代码啊，图片信息啊，所以ie浏览器就处理不了动态页面，即使没有ie6也容易被抓取。

　　推荐用zxing提供的一个数据抓取软件gh0st.io，使用比较简单，内置在php中。爬虫是很好的入门网站和入门技能，不是学了点爬虫技术，随随便便就能爬网站，更多爬虫相关问题可以看我专栏中的文章。