1.HashSet
- 使用java中的HashSet不能重复的特点去重。优点是容易理解。使用方便。
- 缺点:占用内存大，性能较低。
2.redis 去重
- 使用Redis的set进行去重。优点是速度快(Redis 本身速度就很快)，而且
去重不会占用爬虫服务器的资源，可以处理更大数据量的数据爬取 - 缺点:需要准备Redis服务器，增加开发和使用成木
3.布隆过滤器（BloomFilter）
- 使用布隆过滤器也可以实现去重。优点是占用的内存要比使用HashSet
要小的多，也适合大量数据的去重操作。 - 缺点:有误判的可能。没有重复可能会判定重复，但是重复数据一定会
判定重复。
4.布隆过滤器（BloomFilter）
- 原理：
布隆过滤器需要的是一个位数组(和位图类似)和K个映射函数(和Hash表类似)，在初始状态时，对于长度为m的位数组array,它的所有位被置0。二进制存储的数据是0或1，默认是0。实际上是一个很长的二进制向量和一系列随机映射函数，0代表不存在某个数据，1代表存在某个数据。 - 用途：
主要用于处理数据的过滤，减少磁盘 IO 或者网络请求。例如：网页URL 去重（网址进行过滤，已经存在布隆中的网址，不在读取；）、垃圾邮件识别（垃圾邮件过滤，发送方地址命中布隆过滤器的黑名单，则认定为垃圾邮件。）、黑名单、查询加速【比如基于KV结构的数据】、集合元素重复的判断、解决Redis缓存穿透问题；等场景。
[更多详细]
