1.MD5
一个加密算法：我们把一条数据使用MD5进行加密
优点：压缩性，生成一个固定长度的数值
容易计算
抗修改性
强抗碰撞
布隆过滤器
bitmap
使用2bit存储数据的状态 00 不存在 01 一次 11有重复
hash分组
比如大文件去重，内存放不下，可以先使用hash尽可能将数据分区，一样的数据分到一个区中，在去重。
redis
利用redis进行去重
使用数据中唯一标识字符段，使用加密（MD5 SHA1）对字符段进行加密，生成一个字符串，放入到redis中，没有出现过就没有重复。
参考链接
版权声明：本文为qq_41359265原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。