大数据知识_大数据学习笔记

问题描述： 启动pig命令：pig -x local 发现：   解决：   cd $HADOOP_HOME/share/hadoop/yarn/lib rm -rf jline-0.9....

使用Docker搭建好一个三个节点组成的Rabbitmq集群，接下来用SpringBoot项目连接集群。 依赖： org.springframe....

大数据 是指在一定时间范围内利用常规软件工具进行捕捉、管理和处理的数据集合。 分布式： 1.分布式系统是一个硬件或软件分....

用kafka的第一件事儿就得了解kafka的重平衡，即kafka的rebalance，这个很重要，不然这个kafka就会使不好的，出问题了，就理....

WAF架构设想 由于目前项目中流量吞吐量过低引发的一些想法… 不知道装上SSL加速卡会不会顶一点… 框架数据库硬件环境spring....

一、常用MQ： RabbitMQ（兔子）、RocketMQ（火箭）、Kafka、ActiveMQ、HornetMQ（大黄蜂） 二、MQ存在的意义： 1.异步 传统....

MapReduce(二)之工作机制详解 Hadoop序列化 案例数据 手机使用的流量数据，每次手机上网记录一条信息 需求：统计每个手机....

《Kafka运维管控平台》 ✏️更强大的管控能力✏️ 更高效的问题定位能力 更便捷的集群运维能....

在搭建hadoop高可通集群，启动yarn的时候遇到问题 [root@gree131 hadoop]# start-yarn.sh starting yarn daemons starting r....

使用Spark SQL读写MySQL数据库 1.在MySQL数据库中创建表 在MySQL数据库中创建一个名称为spark的数据库，并创建一个名称为stu....

Kafka(MQ)的使用场景 Kafka(MQ)之异步化  Kafka(MQ)服务解耦、削峰填谷 Kafka海量日志收集  Kafka之数据同步应用 Kafk....

数据治理这个问题对于我一个小白来说，好像有点宽泛，从我自己的感觉来说，数据治理应该是有过很多数据体系建设经验之后的....

今天高可用集群搭建重新启动了一下，还是遇到昨天的问题2，虽然用昨天的这个方法也能解决 执行一下命令      ssh -o Stri....

正式的Python专栏第23篇，同学站住，别错过这个从0开始的文章！ 今天我们说了字符串的基础，格式化，这次我们讲解字符串的....

目录 相关链接1 问题一1.1 算法过程描述1.2 算法实现 2 问题二2.1 算法过程描述2.2 算法实现 3 问题三3.1 算法过程描述3.2....

一、RabbitMQ简述与其docker安装 这里主要讲解实战整合rabbitMQ，了解RabbitMQ简述与其docker安装请点击：传送门 二、spring....

本人使用工具： Windows 和 虚拟机链接的工具为 ：MobaXterm Windows链接数据库工具：Navicat 本人的数据库字段为： sqoo....

import tushare as tsts.set_token('*************')pro = ts.pro_api() tushare  id:433719 小程序采用pyqt5制....

将jdk、hadoop安装包上传到服务器/usr 下（个人建议） 并解压到当前目录 进入usr目录下 解压： tar -zxvf 压缩包名称 删除压....

kafka集群（docker环境）及springboot整合 kafka理论 一、kafka集群搭建 1、环境准备 linux环境(vm环境) docker环境 zook....