Poseidon 波塞冬,是希腊神话中的海神,在这里寓意着海量数据的主宰者。
Poseidon系统是一个日志搜索平台,可以在数百万亿条、数百万PB大小的日志数据中快速分析和检索特定字符串。
360公司是一个安全公司,在追踪APT(Advanced Persistent Threat,高级持续威胁)事件时,经常需要在海量的历史日志数据中检索这些信息,
例如某个恶意样本在某个时间段内的活动情况。在Poseidon系统出现之前,都是写Map/Reduce计算任务在Hadoop集群中中计算,
一次任务所需的计算时间从数小时到数天不等,大大制约了APT事件的追踪效率。
Poseidon系统就是解决这个需求,能在几秒钟内从数百亿条规模数据中找到我们需要的数据,大大提高了效率;同时,这些数据不需要额外的存储,依然存放在Hadoop系统中,节省了大量的存储和计算资源。该系统可以应用于任何结构化和非结构化海量(从万亿到千万亿规模)数据的查询检索需求。
系统架构图 所用技术
倒排索引:构建日志搜索引擎的核心技术。
Hadoop:用于存放原始数据



