大数据知识_大数据学习笔记

zookeeper 分布式锁原理 前言为什么要实现分布式锁常见分布式锁解决方案zookeeper分布式锁实现非扩展锁vs 扩展锁 本篇....

一. 准备工作 这里有一堆json文件 使用文本工具打开其中一个文件，复制一条数据，每条数据以{}分割 到百度里搜索一个json解....

文章目录 2021SC@SDUSC类图ServerCnxnFactory源码分析总结 2021SC@SDUSC 服务端为每一个客户端连接维护了一个ServerCnxn来....

class未找到是因为map是本地方式运行，生成的jar包在/tmp/sqoop-[username]目录下有两种解决方式 方式一 修改mapred运行方....

7、mysql常用命令：     退出mysql ：exit  查看mysql中有哪些数据库？  show databases;   注意：以分号结尾，分号....

消费者只能消费到HW，高水位位置，也就是数据最少的follower数据的最后一个位置，确保一旦leader挂掉，重新选举后，也可以消....

为何美团、抖音都潜入社群团购？毫无疑问社群团购是大趋势。 社群团购。社群团购覆盖面广、高增长、轻创业、受资本青睐，解....

1 ProcessFunction API  我们之前学的转换算子是无法获取访问时间的时间搓信息和水位线信息的。而这在一些应用场景下，极....

在0.9版本之前，Kafka集群是没有安全机制的。首先，客户端获取Zookeeper系统连接地址后，通过访问Zookeeper系统中的元数据信....

自己通过使用jps查看到hadoop102上没有namenode服务启动 然后自己通过使用myhadoop.sh stop停止hdfs和yarn(myhadoop.sh是自....

2021SC@SDUSC 目录 一、RPC简介二、HBase中RPC概况Server端RPC实现Client端RPC实现1、HBaseRPC getProxy入口2、getConnecti....

1.Hadoop配置信息处理 1.1 Windows 操作系统的配置文件 Windows 系统广泛使用一种特殊化的 ASCII 文件（以“ini”为文件扩....

Hive的安装 首先上传hive的安装包 在这我使用的市1.2.1版本的 解压缩安装包 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /o....

数仓采集之环境搭建hadoop,zookeeper,kafka 前期的阿里云ECS环境已装好，现在开始正式搭建项目的环境 hadoop安装配置 1.....

前言 最近打算用fink 处理历史数据，既是flink 读取clickhouse数据，做数据回放，数据力度向上汇聚。 1.自定义clickhouse数....

目标: Hive添加用户，并授予不同的权限 用户TRoot：拥有Gdb1、Gdb2超级权限，由root用户授权用户Auser：由TRoot授权，不能cr....

一、创建分区表 静态分区表（导入linux本地的数据） partitioned by（分区字段，字段类型），分区字段不能和表字段一样静....

1.下载pd，我只找到了正版，还需要买正版贵死了。     2.找到适合m1的centos7镜像文件，百度云链接如下：     链接: h....

数据导出 1.数据库数据导出 导出一个库中所有数据,会形成一个建表和添加语句组成的SQL文件之后可以用这个SQL文件到别的库,....

1.序列化简介   (1)什么是序列化                 序列化就是把内存中的对象,转换成字节序列(或其他的据传输协议)....