大数据知识_大数据学习笔记

Doris之如何将oss的表数据导入到doris的表中中并完成调度 前言：写入doris的脚本可以看我之前写的写入doris分区表详解 问题:....

目录 一、背景 二、简介 2.1 Kafka 三、实现 3.1 创建项目 3.2 安装Package 3.3 代码实现 3.3.1 实现消息序列化和反序列化....

前言 Curator 同样支持分布式读写锁 和联锁，只需要使用 InterProcessReadWriteLock 即可，来一起看看它的源码以及实现方式....

目录 一、理论与实践课程 1.课程简介 2.课程内容 3.教学目标 4.课程特色解读 二、教学团队 ​国防科技大学承担着....

最近在学习ES数据库，所以将一些东西记录一下。 以下所有的都是基于es7.8.0版本进行的 下载安装ES数据库 安装本体 下载地址 ....

活动背景 2021年2月，国务院印发的《关于加快建立健全绿色低碳循环发展经济体系的指导意见》中明确提出，全方位全过程推行绿....

spark调优之 excutor-core和内存的合理配置 队列资源描述 这是yarn界面上的，我和同事们共同使用的队列资源，这个队列总共3....

前言 此文为BitXHub跨链治理系列第二篇：治理机制的提案模型。在上一篇《跨链治理之入门三问 ：WHO WHAT HOW》中，我们介绍....

第一问Flink为何而出现 人们想要高吞吐，低延迟处理数据，以前的storm只能低延迟，做不到高吞吐，spark Streaming可以高吞吐....

第一章第一节 数据加载——载入数据 数据集下载 https://www.kaggle.com/c/titanic/overview数据集采用的是kaggle竞赛的官方....

中山大学研究团队2020提出基于区块链委员会机制的联邦学习系统（BFLC）。 主要贡献： 1、减少共识计算量 2、抵抗恶意攻击 并....

MyaQL安装和hive搭建 1、MySql安装 1）检查当前系统是否安装过Mysql 2）将MySQL安装包拷贝到/opt/software目录下 3）解压MyS....

公司项目原来的一个心跳功能是用的redis发布订阅，发现处理速度远远跟不上，然后我试了上多线程，直接重复消费还有数量都对....

目的：从hbase的一个库里面读取，然后进行修改后，在放到一个新库中，新库叫做2_lib（可以自己ctrl+F搜） 一次读取1w1个rowk....

1.设置查询时间         （1）默认是没有设置超时时间的，设置之后会执行timeout的机制         （2）timeout机制：....

南亚的人力资本挑战是世界上最严重的挑战之一。其中包括儿童严重营养不良、早期学习严重不足、持续的传染病负担、妇女权利的....

flume生产集群env.sh参数设置 设置java环境变量设置hadoop环境变量设置flume的jmx exporter #设置java环境变量export JAVA_H....

使用map遍历RDD[Row]，然后使用mkString切割得到RDD[String] 后续如果想要存入库中可以使用隐式函数转dataframe进行相关....

Zookeeper是开源的、分布式的，能够为分布式应用提供协调服务。 从设计模式的角度分析，Zookeeper是一个基于观察者模式设计....

1.首先理解下rabbitmq的基础概念（exchange和queue的关系）： 理解 RabbitMQ Exchange - 知乎 2.然后登陆服务器的rabbitmq....