大数据知识_大数据学习笔记

1.优化 1.1 数据存储 合理设置分区：与Hive类似，Presto 会根据元信息读取分区数据，合理的分区能减少 Presto 数据读取量，....

Spark 优化 资源调优 在部署spark集群中指定资源分配的默认参数 在spark安装包的conf下spark-env.sh文件 SPARK_WORKER_CORES....

目录 引言 一、DML（数据操作语言） 1、插入语句 1.1. 方式一：（经典插入） 1.2. 方式二： 1.3. 两种方式的比较 2、修改语....

 作者 ：“大数据小禅”  **专栏简介 **：本专栏主要分享收集的大数据相关的面试题，涉及到Hadoop，Spark，Flink，Zook....

如需查看完整报告和报告下载或了解更多，公众号：参一江湖 石油原油-专题资料​-2021月度新增11份（10.25-11.21） 2021年原....

hive碰到换行符怎么处理?ods层表应该用什么储存格式? 背景:做需求时发现一张ods层的表,有些数据换行了. 数据中有换行符,查了....

SparkCore的RDD算子sortByKey的使用案例 import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport o....

前言 公司从Rancher切换到OpenShift环境 此前我未接触过容器化部署的概念，于是上网查了一下，但是时间比较紧，没有去详细了....

 作者 ：“大数据小禅”  **专栏简介 **：本专栏主要分享收集的大数据相关的面试题，涉及到Hadoop，Spark，Flink，Zook....

1、下载安装包：apache-hive-3.1.1-bin.tar.gz 上传至linux系统/usr/local/soft/路径 2、解压软件 cd /usr/local/soft/ t....

目录 1.引言2.数据来源与研究方法2.1. 数据来源2.2. 技术路线 3. 影视作品《沉默的真相》在社交平台的数据分析结果3.1. 总....

2021/10/30 步骤二 public Member() {}public Member(String name,String pwd,float score,int rank) {this.name = name;t....

分布式事务名词解释 在分布式系统下，一个业务跨越多个服务或者数据源，每个服务都是一个分支事务，要保证所有分支事务最终....

编写过程： select … distinct … from … join … on … where … group by … having …order by … limi....

镜像队列 为什么要使用镜像？ 如果 RabbitMQ 集群中只有一个 Broker 节点，那么该节点的失效将导致整体服务的临时性不可用，....

Hadoop2.7.7伪分布式配置详解 零、资源准备一、环境准备1. 安装虚拟机2. 环境准备1) 创建新用户test2) 安装ssh-server3) 上....

导读：本文通过一个贯穿本书的实践案例来将大家更好地带入实际开发画像、应用画像标签的场景中。本文主要介绍案例背景及相关....

大数据开发组件         HDFS [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.....

前提：关闭防火墙 1、解压 注：记得看好路径 2、创建数据文件和目录文件 在zookeeper的跟目录下创建两个文件夹data和log 切....

 Java学习路线配套文章：Java学习路线总结，搬砖工逆袭Java架构师（全网最强）  基础推荐：Java基础教程系列  实战推....