大数据知识_大数据学习笔记

过去的十年是中国SaaS跌宕起伏的十年，十年来，SaaS经历过高光、也摔入过低谷，但顽强和希望是SaaS行业、SaaS人一直坚守的意....

目录 应用场景错误信息基础知识配置过程 应用场景 Hadoop搭建伪集群启动和关闭服务时ssh报错，需要手动安装ssh服务。 错误信....

shuffle定义:         在mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程....

如题所示。装了3.3.1的hadoop突然报错   “Unable to load native-hadoop library for your platform… using builtin-java....

本次大数据项目数据及分析均做脱敏化和保密化，主要分享思路体系，全程用Python实现，数据和代码均不提供。如有建议欢迎讨论....

SparkStreaming Bulkload入Hyperbase–应用与原理 一、环境准备 见《Spark3.1.2 on TDH622》 二、补充jar包 三、关键代码说....

元宇宙爆火的背后，有一个被人忽视的真相：人工智能时代已经加速到来。这也预示着越来越多的新机会将会不断涌现。 所以我一....

▌一、SQL的四种语句 ▎【2.1】数据定义语言 DDL-data definition language 关键字如CREATE,DROP,ALTER定义数据库的逻辑结构....

什么是分桶？： Hive基于hash值对数据进行分桶，按照分桶字段的hash值除以分桶的个数进行取余(bucket_id = column.hashcode ....

MQ相关概念 什么是mq MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是 message....

hive中的分区表 为什么分区 Hive的Select查询时，一般会扫描整个表内容。随着系统运行的时间越来越长，表的数据量越来越....

一、开发模式 per-job-cluster  提交模式 1.一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn....

目录 官网下载 修改配置文件 配置环境变量 Zookeeper启动的脚本 启动Zookeeper集群 官网下载 https://zookeeper.apache.org/....

一.将kerberos相关认证文件放到项目目录下： xxxx.keytab，krb5.conf 二.pom.xml引入包： org.apache.h....

世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 问：cardinality有什么特点？ ....

目录 一、方法2 1. 导入库 2. 构建关键词 3. 构建句子 4. 建立统一索引 5. 表连接 6. 关键词匹配 二、方法2 1. 构建字典 2. ....

Hive数据类型 1. 基本数据类型 2. 集合数据类型 3. 案例 (1) 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 ....

一：可视化界面 更改后如下： 二：主题（Topic） 2.1、假如说生产者发送了10条消息，此时消费者服务没有启动，因此就无法....

前言 本人 20 年毕业于一所普通本科，实习的时候也就想着混一张毕业证，也没做什么实际项目，再加上去年就业形式严峻，行业....

继上一篇部署EFK之后，由于发现通过fluentd转发到ES的日志并不能实现我们预期的效果，先看看我们预期的效果： 再给大家看一....