大数据知识_大数据学习笔记

简介 MM2.0主要是基于Kafka Connect实现的跨集群同步工具   主要的功能有： 同步Topic数据到目标集群，并保持分区信息同步....

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模....

79.1 演示环境介绍 CM和CDH版本：5.13.1已启用Kerberos已启用Sentry 79.2 操作演示 测试数据 [root@ip-186-31-16-68 datamas....

Apache Log4j2紧急缓解措施 一、修改启动脚本，添加：-Dlog4j2.formatMsgNoLookups 现在：java -jar xxx.jar改为：java -jar....

说一说对重构的看法 有什么问题要问我的吗? 时间不长,大概二十分钟,面试官人不错。一面结果通过。 阿里二面 ==== 过了一个....

Hive 教程笔记beeline 教程 笔记 beeline beeline 连接 hiveserver2 beeline -u jdbc:hive2://db_url:10000 -n 用户名 -p ....

各题思路及往年优秀论文等资料将发布于以下链接中： 获取方式：点击链接加入群聊【2021MathorCup大数据备战】https://jq.qq.....

一、消息队列 1.1 MQ的相关概念 1.1.1 什么事MQ MQ(message queue),本质是队列，FIFO先进先出，只不过队列中存放的内容是mes....

1、VM15.5安装 （1）新建文件夹用于VM安装路径 （2）安装VM 从起始界面开始，一直next 中间修改VM安装位置 2、centos7系....

一、概述二、优点三、Elasticsearch四、Logstash五、kibana六、搭建1、环境搭建2、搭建时间同步：2.1、主服务器设置2.2、从....

1.配置请求选项RequestOptions 详情可参考ES官网添加链接描述 在GulimallESConfiguration中加入如下配置 /** * 配置请....

问题记录： 在spark进行实时计算时，通过Kafka读取数据写到mysql中，由于本地测试环境提交任务可以正常执行，但是在生产环境....

java环境1.6往上 下载地址：https://zookeeper.apache.org/releases.html#download 两个文件都要下载  两个压缩包下载后，....

纠删码是hadoop3.x新加入的功能，之前的HDFS都是采用副本方式容错，默认情况下，一个文件有3个副本，可以容忍任意2个副本（d....

RabbitMQ实战教程 本文为学习RabbitMQ时记录的视频中笔记，本人亲自实验并修改了某些地方。用的centos和rabbitmq的版本和....

本文目录 1.Consumer 位移(offset)1.2 位移（offset）的作用 2. 位移（offset）提交导致的问题2.1 消息丢失2.2 消息重复消....

一、topic的操作  1、查看当前服务器中的所有 topic ./kafka-topics.sh --bootstrap-server 192.168.56.93:9092 --list# 或....

文章目录 说明分享资料优势代码实例DataFrame和DataSet的区别总结 说明 本博客周五更新 本文记录spark 分布式数据类型Data....

目前已经有监控了 日志架构图 logagent 具体的部署到每一个服务器上面 etcd目前是比较火的 配置中心等等 服务注册与发现 ....

1、安装sbt 首先安装sbt 的时候就遇到了很慢很慢很慢的问题，在这里参考林子雨老师的教程，用了几分钟就完成了，不可思议~林....