大数据知识_大数据学习笔记

1、字符串函数 test_str='   CHINA  ' 去除字符串前后制表符空格:test_str.strip()  >> 'CHINA' 去....

图：阿里云智能弹性计算首席架构师蔡俊杰 12月10日，在2021云上架构与运维峰会上，阿里云智能弹性计算首席架构师蔡俊杰发表....

错误信息如下： hive> show databases;FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apac....

zookeeper是一个分布式协调服务，提供分布式数据一致性解决方案分布式应用程序可以实现数据发布订阅、负载均衡、命名服务、....

Kafka：消息队列 Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、....

需求     rpm 方式安装的Elasticsearch需要找一下安装的文件位置 解决方案     rpm方式安装的文件目录为   /usr/share....

1 前缀   首先配置的前缀是固定的,为 spring: kafka: consumer:  2  配置    2.1 group-id group-id: Data   ....

spark优化参数 --设置spark shuffle分区数量参考： excutor-cores * 3 set("spark.sql.shuffle.partitions", "36")--1.broad....

1，简单模式 工作的流程: 当生产者生产消息后,将消息发往队列.当队列中有消息时,消费者会实时的监听队列中的消息.如果有消息....

1，打开腾讯云控制台，查看内网ip  2，修改master hosts的配置 sudo vim /etc/hosts #修改为如下配置 10.206.0.8 master #....

现状 从全球范围来看，采用商业地理数据进行商业选址及消费者地理细分在发达经济体已经非常普及。为更精准地服务不断升级....

2021SC@SDUSC 本篇我将对hadoop-tools中的最后一个内容Dynamometer进行分析 概观 Dynamometer是测试Hadoop HDFS命名节点性能....

seatunnel 高性能分布式数据集成平台 一、介绍二、为什么我们需要 seatunnel三、seatunnel 使用场景四、seatunnel 的特性五....

需求：用户点击完立刻购买的信息 数据源kafka，这里比较重要的一点设置水位Watermarks import com.alibaba.fastjson.JSONimp....

随着支持异步 I/O 的 Python Web 框架（如 FastAPI、Starlette 以及即将在 Django 3.1 中出现）的日益流行，Python Elastics....

HBase学习笔记 HBase一、HBase简介1、HBase介绍2、HBase的逻辑结构和物理结构3、数据模型4、基本架构 二、快速入门1、配置....

Sqoop安装：（要有hadoop环境） 1.上传源码 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz，并解压  # tar -zxvf sqoop-1.4.....

step1、配置java环境，在挂网下载kafka_2.12-2.7.0 step2、 tar -zxvf kafka_2.12-2.7.0.tgz -C /usr/src/ chown -R root:....

1：elasticsearch结构 elasticsearch数据库>索引库>类型>下标 2：新建索引库 设置mapping设置索引type类型结构 > 类似设置my....

问题 spark任务去使用http协议直接连接doris be节点进行streamLoad任务的数据传输（hive->Doris）,分批次的streamLoad 但是....