经验:自动采集分享任务的类型和采集的内容有哪些弊端

　　经验:自动采集分享任务的类型和采集的内容有哪些弊端

　　自动采集分享任务的类型和采集的内容有哪些,人肉采集目前有哪些弊端,流量来源与质量能否有更好的控制,如果数据量大的话是否可以做批量化采集,选择网站多的网站批量采集,如果有多少个站没有是否可以利用excel批量采集,数据量少的话,是否可以先采集几页,然后进行分析。如果站点多而且数据量不是特别大,可以走批量化搜索(php+cgi+mysql)。

　　有些人人肉采集可能觉得很浪费时间，有必要去重视，但其实不用，我们可以用python对一些重复的人人采集地址做区分，人肉采集每条请求看得到请求url，之后，我们利用beautifulsoup去重复的url，将重复的url都采集下来，去重工作将花费的时间少很多，而且效率较高。

　　从楼主问的问题来看，应该目前对网站抓取还没有经验。学习爬虫的建议先学习一下http请求，熟悉解析链接。在不懂sql数据库语言的情况下，可以直接用pythonselenium+requests库来抓取，爬取效率较高，能够抓取一些基础的实用数据。到后面，你会发现爬虫是一项技术活，你不能只会爬虫，你也需要学会写别的代码。

　　简单的爬虫，比如电商平台的买卖，比如日常的产品，都有很多，而且涉及的工作量也不小。所以，你有时间也可以去关注网站采集工具，爬虫脚本去学习和研究下。另外，有基础对数据量没有大的需求的话，直接爬虫工具爬取下来就好了。但是对于一些网站内的，比如淘宝、天猫、京东等等，经常会有高频量的购买发货，配合平台提供的购物车等功能，比如可以查看有多少件，哪种收货地址，有没有货，有无加价等等，那么在爬取的时候，一些重复的收货地址，货物以及有价值的信息就非常有用。

　　这些问题对于一些新手来说，确实会觉得有些额外的开销。所以我想提醒一下你，这种时候是需要认真去做一些功课的，就当做投资学习下吧。当然，要更多的知道爬虫框架，或者写爬虫脚本。