大数据知识_大数据学习笔记

传输层安全配置以最低安全要求为基础（用户名和密码），通过安装证书来验证集群中的节点，以防止未经授权的节点加入你的 Ela....

说sql调优经验 Redis： redis的数据结构 redis淘汰策略 redis单节点和多节点 redis的数据储存 网络： HTTP 1.1版本增加了哪....

在IDEA中开发Spark，可以使用两种方式环境方式，一是使用本地Scala库，建立Scala项目，导入Spark jar包。一种是通过Maven引....

线程池由哪些组件组成？ 有哪些线程池，分别怎么使用？拒绝策略有哪些？ 什么时候多线程会发生死锁，写一个例子？ Redis....

本篇文章，讲解在Windows10下，使用IDEA搭建好的Maven Scala项目进行本地的Spark词频统计的项目开发工作。         ....

文章目录 一、概述二、Hive优点与使用场景1）优点2）使用场景 三、Hive架构1）服务端组件1、Driver组件2、Metastore组件3....

idea 远程提交spark作业 java.io.IOException: Failed to connect to DESKTOP-H 1 报错日志 Exception in thread "main" jav....

新买了redmibookpro14 最新i5 11320H 安装虚拟机后满心欢喜copy了旧电脑的hadoop 结果运行就蓝屏，。。。 解决方案 把这两....

一：小知识 主节点 active 备用主节点是standby 用的是 元数据信息是同步的 jn（元数据同步） jn也有可能会坏 所以也需要多....

前言 对于没有接触过大数据技术的人来说，听到大数据这个名词可能会感到很陌生，会很疑惑大数据是个什么东西。当年刚毕业的....

一、统计类标签开发 1、近30日购买行为标签案例 2、最新来访标签案例 二、规则类标签 1、用户价值类案例 重要价值、重要保....

https://blog.csdn.net/yemuyouhan/article/details/106959830

▼ 关注「ApacheFlink」视频号，遇见更多大咖 ▼ 摘要：本文详细说明了 Log4j2 Zero Day 漏洞的影响，以及 Flink 社区的应....

产生数据倾斜的根本原因是某个task处理数据过多，执行时间较长，导致整个Job执行时间长，因此解决数据倾斜的根本之道就是避....

目录 一：yarn架构分析 二：MapReduce在Yarn上执行流程 一：yarn架构分析 资源的调度和管理平台 主从结构 主节点，可以有2....

2021SC@SDUSC Hadoop yarn源码分析（十一） NodeHealthCheck源码解析 2021SC@SDUSC 一、简介二、NodeHealthCheckerService....

统计单词（一行一个） import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.a....

#!/usr/bin/env bash# 构建大数据环境sudo chown -R ht /home/htsudo chgrp -R ht /home/ht## Update & install dependencie....

什么是Kafka Kafka起初是由LinkedIn 公司采用Scala语言开发的一一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现....

1、核心文件配置 （1）、①从Linux中获取JDK的安装路径 命令：echo $JAVA_HOME  （2）、配置hadoop-env.sh 命令：cd /opt/....