
狗年过去,猪年到来,回望过去一年,痛苦与收获并存。 收获一:公众号写作从高频模式转为精品模式 从前面开始写公众号,作为....
一.引言 spark 项目运行 kafka 相关程序时报警告,虽然不影响运行,但是强迫症看着十分难受,下面立即清除。 ERROR StatusL....
一、前言 没有阅读spark分组排序二的同学需要先阅读下才能理解本篇文章的优化逻辑。上demo源码 二、源码 import org.apache.....
Flink读取Kafka数据下沉到Clickhouse 在实时流数据处理中,我们通常可以采用Flink+Clickhouse的方式做实时的OLAP处理。关于....
"2021SC@SDUSC" 1. 什么是远程过程调用 在讲述 Dubbo 的服务调用过程之前,让我们先来了解一下什么是远程过程调用。 远程过....
重点记录debezium connect的使用 工具选型 MongoDB version 4.4.3捕获工具 debezium connect 1.8.0Kafka 2.13+ 参考过程 Mo....
目录 一、安装erlang 二、安装RabbitMQ 安装包链接:https://pan.baidu.com/s/1yoolOk7RAEBRINiKGL6BJQ 提取码:lwcb ....
vim /data/azkaban/exec/job/test.sh shell脚本内容, #!/bin/bashset -econfigfile="$1"while read -r line ; do eval "$li....
Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (T
Zookeeper 的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。 Zab协议有两种模式,....
本文将从目录、主要内容和专家热评三部分内容组成,希望大家能够仔细阅读,掌握其中所有的技术知识点和思维方式,希望本文能....
目录 1、修改主机名Hadoopmaster节点 1.1、打开终端、输入hostname查看当前的主机名(这里的master是已经修改过的) 1.2、 ....
前言 话不多说,直接开干,具体一些概念,迟一些分享准备阶段 kafka下载安装地址 Apache Kafka 开始部署 上传文件到....
流利的表达项目的完整业务 项目介绍: 在线社交是互联网时代的产物,已成为互联网用户的基础需求之一。移动互联网自2003年起....
三、HDFS+大数据集群 1、CentOS集群、计算机集群的基本架构,从图说明你对集群的理解(C/S模式、机架、网络互联,交换机) 2....
Spark进阶 大数据离线与实时项目实战 点击图片跳转下载地址. 第1章 课程介绍&学习指南 本章....
技术和工具:Node.js、Express(Node.js的web框架)、Spark(计算引擎用于推荐算法)、Vue、WEEX(跨平台开发) 数据库:MyS....
RocketMQ 是一款开源的分布式消息系统,基于高可用分布式集群技术,提供低延时的、高可靠的消息发布与订阅服务。同时,广泛....
ZooKeeper 在里面的职责是什么? 它是一个分布式协调框架,负责协调管理并保存 Kafka 集群的所有元数据信息,比如集群都有哪....
步骤一、安装hive,配置环境变量 1.上传hive安装包到/opt/software/,进行解压 [hadoop@master software]$ tar -zxvf apa....