大数据知识_大数据学习笔记

一、YARN主要负责集群的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个。 其中:ResourceManager是主节点....

1.导包 java.util 2.创建对象 Scanner input=new Scanner(System.in); 3.做事情 int value=input.nextInt(); String value=i....

IOException当网络上的一台机器不知道如何将 TCP 数据包发送到指定的机器时，您会收到 TCP No Route To Host 错误 - 通常包....

2020年是全面建成小康社会目标实现之年，是全面打赢脱贫攻坚战之年，是“十三五”规划目标完成之年，“十四五”任务启动，是....

目录 1.添加白名单 配置白名单步骤： 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和b....

一.hive参数 现在一般不手动配置hive参数,一般都使用默认的配置 只有极个别情况下的jvm内存相关参数设置需要特别指定 常见的....

Python和大数据优质资源汇总......持续更新 Python和大数据优质资源汇总......(持续更新)Python和大数据Python数据之道Pytho....

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMe

一.MapJoin 概念 join本来是reduce进行关联查找,改成了map端进行关联查找 特点 减少了reduce的压力减少了数据移动,提高....

1.在Zookeeper中，每一个数据节点都称为一个ZNode，所有的ZNode按层次化结构进行组织，形成一棵树。  2.Zookeeper中的事务....

目录 索引的原理索引的代价索引的类型索引使用创建索引规则练习什么情况下使用索引如何选择对某一列使用普通索引还是唯一索....

批处理实验（DataSet API） TestWordCount.java public class TestWordCount { public static vo

1. 安装erlang curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash yum in....

一.数据仓库架构设计 简介 数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端....

hbase学习之安装与入门 hbase简介 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 逻辑和物理存储结构 逻....

转载spark性能优化基础篇 高级篇之数据倾斜优化

2021年10月14日，顶级医疗盛会第二十二届全国医院建设大会暨国际医院建设、装备及管理展览会”（简称 CHCC2021）在深圳国际....

**解锁方案 分三步：**1、连接hive库，查看被锁的表```show locks;```2、解锁表```unlock table 表名```3、解锁分区表``` ....

集成jsoup org.jsoup jsoup 1.10.2 解析html页面 @Componentpublic class HtmlParseUtil {//h....

通过页面的方式去访问hadoop的垃圾回收站，提示权限错 为什么？ 因为在访问这个文件夹的时候的用户是user=dr.who 网上的答案....