mongodb java 去重复_MongoDB数据重复解决方案

当我们在测试阶段时难免会出现一些程序写错，导致数据重复，本人因为这个问题，倒腾了几天，刚开始的思路是写脚本，因为自己语言学的太菜，导致连一个定义的公式都没想出来，后来是利用MongoDB里面的聚合解决的。

下面我以一个小实例来讲把：

不难看出，姓名有出现重复的现象，少的情况我们可以逐个删除，当数据量达到几百万，几千万的时候估计大家有些发愁了，应该会有些朋友会想到写脚本去筛选然后删除这些重复的数据把，其实可以利用MongoDB中的聚合去删除重复的数据

第一个括号是：相同数据的字段

第二个括号是：操作相对应的文档

然后我依次向大家解释是什么意思：

aggregate:(聚合管道)

1.group只会返回参与分组的字段

2.根据name分组统计数量

3.$match匹配数量大于1的数据

4.doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据

5.使用forEach循环根据_id删除数据

$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中，$addToSet返回，不会修改数组。

数据重复name字段已经删除。