大数据知识_大数据学习笔记

一、Master 启动 上回讲到，Master 的 main 方法中，创建了 RpcEnv 和 Master 的 Endpoint，紧接着就开始执行 Endpoint 的生....

运行hadoop程序时候出现的错误 如果出现： Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.i....

================== 笔记①：Redis学习笔记 笔记②：Spring Boot核心技术笔记 笔记③：SpringMVC开发笔记 笔记④：Kafk....

1、_settings         设置索引的相关配置。 设置索引scyj_ypt_es_kq_monthrpt分页查询最大搜索数量： PUT scyj_ypt_es_....

一.RabbitMQ安装 1.1 为什么使用RabbitMQ 1.降低耦合度 2.RabbitMQ速度快，微秒级别 3.学习成本低 4.支持多种语言 1.2 什么....

一、等保1.0 等保1.0是指信息安全等级保护  二、等保2.0 网络安全等级保护制度是国家网络安全领域的基本国策、基本制度和基....

元数据初始化命令： schematool -dbType mysql -initSchema 控制台日志（元数据初始化失败） #bin/hive 进入客户端，查看数....

Filezilla无法连接到服务器解决方法 在进行hadoop伪分布式安装时，第一步通常是配置IP地址，用Filezilla传输文件，但在传输....

1、JAVA并发编程 对于一个 Java 程序员而言，能否熟练掌握并发编程是判断他优秀与否的重要标准之一。因为并发编程是 Java ....

在集群上运行jar程序的时候，出现以下这个错误信息： Container exited with a non-zero exit code 1. Error file: prelaunc....

Kafka副本的之前提到过，分为Leader副本和Follower副本，也就是主副本和从副本，和其他的存储比如Mysql不一样的是，Kafka中....

为什么要使用数据库 数据保存在内存 优点： 存取速度快 缺点： 数据不能永久保存 数据保存在文件 优点： 数据永久保存 缺点....

文章目录 创建map.py创建red.py 与这篇博文有点关系的可以参考下： ① MapReduce 计算框架 —— 执行流程详解 ② 在Linux....

测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysq....

[root@hedy ~]# docker exec -it master spark-shell --executor-memory 512M --total-executor-cores 2 2019-02-09 17:13:44 WA

大数据的岗位都有哪些，都是做什么的？这个问题恐怕困扰着很多人，因为一直没有统一的标准,就容易造成这种混乱的情况。搜索....

hbase原表和索引表的表名修改方式是一样的，现在只列出索引表修改方法： 我的旧索引表表名：    修改步骤： 1.hbase(main)....

生产者： import java.util.Properties; import java.util.concurrent.ExecutionException; import org.ap....

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙....

很多同学或多或少都用到了Zookeeper，并知道它能实现两个功能 配置中心，实现表分片规则的统一配置管理注册中心，实现shard....