大数据智能采集与处理方法，系统及过程

　　本发明涉及信息技术领域，尤其涉及一种大数据智能采集与处理的方法及系统.

　　背景技术:

　　随着大数据时代的到来，人们对数据的需求越来越强. 由于数据源在现实生活中很奇怪，因此未经多次处理进入数据库的数据可能会大大降低数据的整体可靠性和有效性. 在后续数据使用中使用此类数据非常有效. 低. 为了获得更有效的文本数据，尤其是用于供应，需求，销售，交易和电子商务的数据处理，用户需要提取收录大量信息的最及时，最有用的数据，同时，更新相对大量的信息. 小数据.

<p>数据清洗方法和装置2.9，获得粗分类的样本数据，并将获得的样本数据用作第一数据集；对样本数据进行分类，得到样本数据的粗分类类别的权重，根据权重确定样本数据在所有类别中的粗分类类别的排名位置；根据样本数据在所有类别中的粗分类类别的排名位置和样本数据在第一数据集中的总数，得到综合评价结果；当根据综合评估结果确定需要清理第一数据集时，根据所有类别样本数据的粗分类类别的排序位置，在底部删除指定数量的样本数据.