栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Poseidon波塞冬日志搜索平台

Poseidon波塞冬日志搜索平台

Poseidon波塞冬日志搜索平台

波塞冬,是希腊神话中的海神,在这里是寓意着海量数据的主宰者。

Poseidon 系统是一个日志搜索平台,可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司,在追踪 APT(高级持续威胁)事件时,经常需要在海量的历史日志数据中检索某些信息, 例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算, 一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。 Poseidon 系统就是为了解决这个需求,能在几秒钟内从数百万亿条规模的数据集中找出我们需要的数据,大大提高工作效率; 同时,这些数据不需要额外存储,仍然存放在Hadoop集群中,节省了大量存储和计算资源。该系统可以应用于任何结构化或非结构化海量(从万亿到千万亿规模)数据的查询检索需求。

所用技术

倒排索引:构建日志搜索引擎的核心技术 Hadoop:用于存放原始数据和索引数据,并用来运行Map/Reduce程序来构建索引 Java:构建索引时是用Java开发的Map/Reduce程序 Golang:检索程序是用Golang开发的 Redis/Memcached:用于存储 meta 元数据信息 service

这里存放的是各个HTTP微服务服务的程序

hdfsreader:读取HDFS中某个文件路径的一段数据。

/s

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/774025.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号