
谈到大数据,相信大家对hadoop和Apache Spark这两个名字并不陌生。然而,最近业界有一些人正在大张旗鼓的宣扬Hadoop将死,S....
Spark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更....
对于寻找方法快速吸收数据到Hadoop数据池的企业, Kafka是一个伟大的选择。Kafka是什么? 它是一个分布式,可扩展的可靠消息....
背景大数据时代,企业数据爆发式增长,如国内某企业平均每天有300亿笔业务,业务高峰期间每天可达600亿笔业务。随着数据的与....
导语最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本....
大数据技术主要要解决的问题的是大规模数据的计算处理问题,那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解....
问题导读 yarn默认情况下使用哪些资源? Yarn如何实现扩展自定义资源? 自定义资源,可以在哪个配置文件中配置? ....
随着公司业务发展,对大数据的获取和实时处理的要求就会越来越高,日志处理、用户行为分析、场景业务分析等等,传统的写日志....
自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置已按需求创建好EMR....
维度建模已死?在回答这个问题之前,让我们回头来看看什么是所谓的维度数据建模。为什么需要为数据建模?有一个常见的误区,数....
本文主要帮您解决一下几个问题: HDFS是用来解决什么问题?怎么解决的? 如何在命令行下操作HDFS? 如何使用Java API....
云服务已经成为企业加快数字化活动的重要地点,以下便是评估HaaS提供商需要考虑的事项: Haadoop是一个基于开放源代码的....
关于 Hadoop 所谓的消亡,以及它跌落神坛的报道数不胜数。有很多人放马后炮说,Hadoop 从一开始就没有意义。还有人说“Hadoo....
一.三种启动方式介绍方式一:逐一启动(实际生产环境中的启动方式)hadoop-daemon.sh start|stop namenode|datanode| journ....
前言目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对....
核心内容:1、Hadoop开发过程中常见问题即解决方案在Hadoop开发的过程中,我们总是遇到各种各样的问题,今天就整理总结一下....
对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署....
用于数据分析的开源Hadoop架构的巨大增长是由其结构化和非结构化数据量的增长所驱动的,并且很多权威组织也预测,未来Hadoop....
1.牛刀小试张大胖找了个实习的工作, ***天上班Bill师傅给他分了个活儿:日志分析。张大胖拿到了师傅给的日志文件,大概有几....
对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署....