优采云采集网址速率实在很慢了~

优采云 发布时间: 2020-08-25 00:50

  优采云采集网址速率实在很慢了~

  1、access速率很慢,这个压根就是乱说。用ASP写一条语言录入100条数据,那根本就是毫秒级的。因为access没有构建索引,在个别情况下,反而会比SQL更快。SQL胜在并发能力强悍,能够构建索引,支持事务、存储过程,等中级功能。可以处理海量数据(百万级别以上)只要程序写的不会很糟,access支持10万级别的信息一点问题都没有。

  2、一次性不要处理太多东西,应该大于4000条...这更是扯淡了。因为在刚开始采集的时侯,数据库里几乎就是0信息,你从何谈数据量很大?而且就区区几千数据量还很大...说出来不丢脸吗?

  3、购买付费版。这个放在前面再说

  我的推论:很简单,要么就是优采云本身程序的代码质量有很大问题,起码有80%以上的可优化空间。要么呢,就是针对免费版进行了速率上的限制,比如采一条sleep半秒钟。

  我的目的:也很简单,我看上了优采云的简单易用,功能健全。可以选购付费版,但是你得告诉我采集速度出奇地慢是不是针对免费版故意降低的限制。如果是的,那我很高兴,我会订购付费版。如果并没有针对免费版在性能方面人为地降低限制的话,而只是能支持SQL的话。那么没办法,效率低到令人吃惊的东西,肯定是无法用的。我要采集的是百万以上的数据,而且几乎不需要提取任何东西,所以也不会出现大量的键值。以这些速率的话,得好几天了。不敢想。

  我的硬件和网路环境:服务器,托管于机房,15M网路。ping目标服务器平均都在6ms以内,非常快。硬件配置也完全不需要担忧。

  我的情况:原来是用手写蜘蛛采集的~基本上10分钟以内可以把某下载站的8000条软件信息全部采集回来,提取5个内容,根据网址检查是否已存在。结果暂存access数据库中。可是因为可能会要定时采集上百个网站,所以想寻求一个更通用的软件。于是找到了优采云~其他都很满意,就是这个效率...实在是慢到了不可思议的地步。

  最后的一个额外建议:采集入库的时侯,有时候会碰到采集失败的内容,最好是保存出来,供再度采集用。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线