大数据知识_大数据学习笔记

好久没有写博客了，今天开始会陆续将自己在工作中用到的工具及碰到的问题更新到博客中以做记录，期待和大家交流探讨。 废话....

Zookeeper ZooDefs.Ids OPEN_ACL_UNSAFE : 完全开放的ACL，任何连接的客户端都可以操作该属性znode CREATOR_ALL_ACL : 只有....

Create，Drop，Alter 创建数据库create database if not exists database_namecomment database_commentlocation hdfs_pathw....

sq1.0 用Scala抽取Mysql指定数据到Hive的ODS层的指定分区表中 object demo_extractjob { def main(args: Array[String]): U....

HDFS常用操作命令包括：上传、下载和对HDFS进行直接操作。 可以在启动好所需要的服务后，打开链接 http://hadoop102:9870/....

echo '';$test = array('id'=>'181601920729896967', 'name'=>'test');....

1 序列化概述1.1 什么是序列化和反序列化1.2 为什么要序列化1.3 为什么不用java序列化1.4 hadoop序列化特点 2 实现hadoop....

Yarn简介 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算....

安装 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.0.0/https://kafka.apache.org/quickstart KRaft 配置 config/....

目录 相关环境：项目场景：问题描述：原因分析：解决方案： 相关环境： elasticsearch：7.7.1，三个节点的集群java: 1.8 项....

resourcemanager.taskmanager-timeout 默认30000毫秒 taskmanager无任务运行就会被回收，下次提交任务时又会重新向yarn申请c....

Elasticsearch基本操作 文章目录 Elasticsearch基本操作一、访问ES服务器二、索引操作2.1 创建索引2.2 查看索引2.3 删除索....

核心知识点 服务中心诞生背景         当服务数量达到一定的规模，我们首先要面对的是如何去查找相对应的服务，其....

1、关于map与foreach区别： map：遍历RDD,将函数f应用于每一个元素，返回新的RDD(transformation算子)； foreach：遍历RDD,....

在创建表的时候，往往会关联ID字段，ID字段的类型会有STRING和INT,BIGINT等等。底层会自动去关联STRING跟INT STRING跟BIGINT....

需求：现在有几十张excle表，我需要从中获取某几个字段（a,b,c,d,e）汇总到一张表中，这些字段并不是每张表都具备。 Saprk D....

大数据概述大数据解决了什么问题：海量数据存储和海量数据分析数据量越来越大，海量数据的存储 解决了数据的计算：分而治之 ....

大数据复习提纲 一、题型 1 单选题(20题，40分)；2 多选题(10题，20分)；3 简答题(4题，40分) 二、复习重点 第1章 理解大数....

Window是flink处理无限数据量的核心 官网链接： https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/de....

80.1 演示环境介绍 CentOS版本为：6.5未启用Kerberos 80.2 操作演示 配置Hue使用HttpFS keytool工具将Keystore文件转换为PKC....