栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据中判断一个数据存在

大数据中判断一个数据存在

那天晚上,越黑风高,我的好朋友跟我说面试官问了他这么一个问题:
现在有一千万个IP,你要怎么查询一个IP是否存在?

二话不说,map-reduce,是没错的。因为他没说这种操作要持续多少次啊,这一千万个IP要不要做持久化啊。

那现在问题加码一下,要频繁查询。


这个场景似曾相识是不是,有没有。
在redis缓存击穿的时候,遇到恶意攻击怎么办?布隆过滤器:判断一个数据存在,数据可能存在。判断一个数据不存在,那肯定不存在。


但是我们现在是要判断绝对存在或不存在。这可咋整?

数据结构(12)-- 前缀树(字典树、Trie)

我们来算一下啊,一个 ip 12 个字节(三个点就算了吧),我要是愿意,我还能给它压缩成一个 ip 3个字节,那就是三千万个字节,3万K,也即是30M不到,28.61M。

在碰撞中再压缩一些,就更小了。还是存得起的。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326144.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号