文章目录 一.数据收集1.关系型数据收集Sqoop2.非关系型数据收集Flume3.消息队列Kafka 二.数据存储三.协调与资源管理四.计算....
先来说一说block(数据块)，HDFS存储数据在adtanode节点，而datanodo节点里是分为一个个block存数据的。大数据可能一个地方放....
在使用Bandizip解压最新版本的Hadoop时，出现错误信息： 提示以管理员身份运行Bandizip，所以尝试用管理员身份去解压了一下....
linux基础增强 1 linux基础增强1.1查找命令1.2 find命令1.3Locate命令1.4whereis命令1.5which命令 2.1 用户与用户组2.....
实验环境： kafka1: 192.168.10.11 kafka2 192.168.10.12 kafka3 192.168.10.13 注意：3.0版本会有改动，建议使用2.7及以下....
export HADOOP_HOME=/usr/local/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP
一、参考资料 1. Flink简介 尚硅谷Java版Flink（武老师清华硕士，原IBM-CDL负责人）_哔哩哔哩_bilibili 链接: 百度网盘 请输....
Ubuntu启动zookeeperError: JAVA_HOME is not set and java could not be found in PATH. ZooKeeper启动时报错场景 报错信....
task调度与提交 上一篇: task生成. Task生成后回被包装成TaskSetManager，然后放入任务调度器中的任务池中并根据调度算法....
1.hive错误 Unable to open a test connection to the given database. JDBC url = jdbc:mysql://slave2:3306/hive?createD....
论物联网与大数据、云计算、工业物联网、区块链 我们当今的时代飞速发展，物联网、大数据、云计算这些名词在我们的生活中出....
Docker搭建RabbitMQ高可用集群 单个nginx代理+镜像队列nginx+keepalived实现高可用 单个nginx代理+镜像队列 拉取镜像 # 拉取....
hive内部表的基本操作 创建表-格式 create table table_name; 例如创建stu： create table stu(id int); 创建表时指定格式-....
Apache Flink Apache Flink 是一个分布式系统，它需要计算资源来执行应用程序。Flink 集成了所有常见的集群资源管理器，例如....
一般的消息中间件两种模式 消息队列中间件，也可以称为消息队列。有两种传递模式:点对点(P2P, Point-to-Point) 模式和发布/....
1.temp表中时间字段不为null，写入正式表后却出现了null值。原因如下： 因为同步的时候对time字段使用了to_date('2021-....
1，原因分析： 采用了rmi进行远程调用，在开启RMI服务时，如果服务端有多个网卡，它只是使用其中任意一个网卡，默认情况下，....
多元化集团企业在发展到一定阶段后，往往会遇到业务与财务分离、管理缺乏系统决策支持等管理问题。财务决策支持系统建设实施....
基于Centos7的Java服务器搭建 前提：Centos常用命令安装 1. 安装wget yum -y install wget 2. 安装gcc yum -y install gcc 1....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
