栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Poseidon日志搜索平台调研笔记

Poseidon日志搜索平台调研笔记

简介

Poseidon 波塞冬,是希腊神话中的海神,在这里寓意着海量数据的主宰者。

Poseidon系统是一个日志搜索平台,可以在数百万亿条、数百万PB大小的日志数据中快速分析和检索特定字符串。

360公司是一个安全公司,在追踪APT(Advanced Persistent Threat,高级持续威胁)事件时,经常需要在海量的历史日志数据中检索这些信息,

例如某个恶意样本在某个时间段内的活动情况。在Poseidon系统出现之前,都是写Map/Reduce计算任务在Hadoop集群中中计算,

一次任务所需的计算时间从数小时到数天不等,大大制约了APT事件的追踪效率。

Poseidon系统就是解决这个需求,能在几秒钟内从数百亿条规模数据中找到我们需要的数据,大大提高了效率;同时,这些数据不需要额外的存储,依然存放在Hadoop系统中,节省了大量的存储和计算资源。该系统可以应用于任何结构化和非结构化海量(从万亿到千万亿规模)数据的查询检索需求。

系统架构图

所用技术

倒排索引:构建日志搜索引擎的核心技术。

Hadoop:用于存放原始数据

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761182.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号