大数据知识_大数据学习笔记

自互联网进入大数据时代后，涌现了非常多的数据解决方案。最早火起来的是数据库，后来又是数据仓库、数据湖，再再后来是数据....

from petal import Taskfrom petal.util.db import DBEngineXimport cx_Oraclefrom petal_tasks.huamu.sql_string import huamu_

排序查询 select 查询列表 from 表 【where 筛选条件】 order by 排序列表 【asc(升序)|desc(降序)】 特点： asc....

1）获取内存中的RDD import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}//从内存中获取R....

企业数字化转型过程中，人才是关键，不论 CEO 制定的数字化转型方案如何完美，都需要数字化人才执行才能落地。 01 数字化人....

IDEA中连接mysql数据库 连接成功 OK即可 准备脚本 create table question( questionId int primary key auto_increment,....

1：MapTask工作机制      1：Read 阶段：MapTask 通过InputFormat 获得的RecordReader，从输入InputSplit 中解析出一个....

在执行hive sql时明明已经插入了数据，可是过了一会儿查询的时候数据表为空，而且报以下错误，以前也经常遇到，搞得我一直重....

安装与配置SSH 1、安装SSH 输入 sudo apt-get install openssh-server 输入 ps -e | grep ssh 查看ssh进程，检测是否安装成....

安装 Zookeeper 3.6.3 前提 已经安装好 JDK8+. 如果使用JDK8, 版本需要在211以上. 下载, 解压 使用root用户 wget https....

目录 一.目的  1.想：提高学习效率，所以将老师的内容记录下来 二.参考  1.SIKI学院 三.注意   1.课程资源下载 1.MySQL....

包 org.springframework.kafka spring-kafka 2.3.3.RELEASE  配置文件 spring: #KAFKA kafka: #以逗号分隔的主....

周二(10月19日)亚市盘中，现货黄金短线快速上涨，金价刚刚突破1775美元/盎司关口。美元短线持续下滑，这给金价提供上涨动力....

中国蜂王浆行业市场竞争分析及投资潜力评估报告2021-2027年 第一部分 蜂王浆行业发展现状 第一章 蜂王浆行业发展概述 第一节....

目录 一.目的  1.想：提高学习效率，所以将老师的内容记录下来 二.参考  1.SIKI学院 三.注意   1.课程资源下载 1.MySQL....

1、nacos开启权限，修改application.properties其中的nacos.core.auth.enabled=true；默认密码nacos/nacos;在nacos控制台修....

Hive中concat_ws()、collect_list()、over(partition by … order by) 因为Hive的版本问题，group_concat()函数无....

HDFS(Hadoop Distribute File System)    HDFS是一种分布式文件系统。不同于我们熟悉的Windows、Linux操作系统只能应用本....

最近执行hive 脚本重跑数据的时候，出现数据重跑失败，创建的是外表。重跑数据报以下异常： // ${hdfsPath} 为具体的hdfs 路....

分布式锁的原理 核心：当客户端获取锁，创建临时节点，使用锁后，删除临时节点 1.当客户端获取锁时，在lock节点下创建三个临....