
原理篇1. Hadoop2.X的各个模块一句话简介1)Hadoop Common:为Hadoop其他模块提供支持的公共工具包;2)HDFS:Hadoop分布式文件....
和 Hadoop 一样,Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是,Spark 在集群的内存中保....
近年来,数据已经成为非常重要的企业资产,通过大数据分析改善管理、提升业务、促进行业转型在业界已达成共识,在此背景下,....
谈到大数据,相信大家对hadoop和Apache Spark这两个名字并不陌生。然而,最近业界有一些人正在大张旗鼓的宣扬Hadoop将死,S....
企业发展到一定规模都会搭建单独的BI平台来做数据分析,即OLAP(联机分析处理),一般都是基于数据库技术来构建,基本都是单机....
因为以前安装hadoop编译版的时候遇到过问题,时间比较久了,具体问题有些描述不清了,建议大家下载源码自己编译安装,如果遇....
谈到大数据,相信大家对hadoop和Apache Spark这两个名字并不陌生。然而,最近业界有一些人正在大张旗鼓的宣扬Hadoop将死,S....
Spark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更....
对于寻找方法快速吸收数据到Hadoop数据池的企业, Kafka是一个伟大的选择。Kafka是什么? 它是一个分布式,可扩展的可靠消息....
背景大数据时代,企业数据爆发式增长,如国内某企业平均每天有300亿笔业务,业务高峰期间每天可达600亿笔业务。随着数据的与....
导语最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本....
大数据技术主要要解决的问题的是大规模数据的计算处理问题,那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解....
问题导读 yarn默认情况下使用哪些资源? Yarn如何实现扩展自定义资源? 自定义资源,可以在哪个配置文件中配置? ....
随着公司业务发展,对大数据的获取和实时处理的要求就会越来越高,日志处理、用户行为分析、场景业务分析等等,传统的写日志....
自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置已按需求创建好EMR....
维度建模已死?在回答这个问题之前,让我们回头来看看什么是所谓的维度数据建模。为什么需要为数据建模?有一个常见的误区,数....
本文主要帮您解决一下几个问题: HDFS是用来解决什么问题?怎么解决的? 如何在命令行下操作HDFS? 如何使用Java API....
云服务已经成为企业加快数字化活动的重要地点,以下便是评估HaaS提供商需要考虑的事项: Haadoop是一个基于开放源代码的....
关于 Hadoop 所谓的消亡,以及它跌落神坛的报道数不胜数。有很多人放马后炮说,Hadoop 从一开始就没有意义。还有人说“Hadoo....
一.三种启动方式介绍方式一:逐一启动(实际生产环境中的启动方式)hadoop-daemon.sh start|stop namenode|datanode| journ....