大数据知识_大数据学习笔记

注：前置要求已安装java。 一、安装Hadoop 1.下载hadoop wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.....

官网地址：Apache Kafka 下载tar包 Kafka 是依赖于 Zookeeper 及 JDK 的所以在安装 Kafka 之前我们需要准备好 Zookeeper 及....

1.使用vagrant+virtualbox搭建linux环境 下载vagrant Downloads | Vagrant by HashiCorp 链接：https://pan.baidu.com/s/1io....

1.kafka中的offset概念   Last Committed Offset：consumer group 最新一次 commit 的 offset，表示这个 group 已经把 L....

1、编写运行脚本 [root@centos110 user]# cd /etc/init.d/vim hadoop_service #!/bin/bashexport JAVA_HOME=/opt/apps/jdk1.....

ES复合查询的实现 should must must_not 嵌套使用 ES复合查询的实现 ES查询语句： get tableName/_search { "query": { ....

hadoop/HBase ZooKeeper启动命令 先移动到ZooKeeper所在目录 cd /usr/local/zookeeper/bin//移动到ZooKeeper所在目录 然后执....

NAT设置网关 su rootvi /etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/hostnamehadoop100vi /etc/hostping 下网关....

2021-11-05  Too many open files. Question Description :  先启了zookeeper, 而后在连接kafka 时, 后出现下图所示问题. ....

当多个客户端对zk集群中的资源进行访问时，为了保持资源访问的有序性和稳健性，在每个客户端进行访问时需要在访问期间保持其....

一：程序层面： 比如说在Hive中，经常遇到count(distinct)操作，这样会导致最终只有一个Reduce任务。 我们可以先group by，....

2021SC@SDUSC

Elasticsearch集群部署 一、集群es 1、拉取镜像 docker pull elasticsearch:6.8.8 2、创建配置文件存放目录 cd ~/es-cluster....

ES基本概念名词 Cluster 　代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节....

1.准备好三台服务（这里使用VMware搭建出三台服务器） 在使用服务器之前，一定要修改每一个服务器的ip,改为静态ip地址，方便....

问题：由于kafka 中log.dir文件目录占用空间太大，而且文件名字是logs，以为是日志文件，直接一挥手把他全部删除了。导致集....

首先准备两个CVS表单 我第一个表单为customer  第二个表单为order 接着实现2表连接查询 首先写一个实体类CustomerOrder....

文章目录 简介确定元数据存储位置关于kylin_metadata表存储元数据的RowKey设计方式查询并删除异常的Model、Cube在Kylin Web....

部署zookeeper： docker pull zookeeper docker run -d --name zookeeper -p 2181:2181 -t zookeeper 部署kafka： dock....

hive 笔记 hive-site.xml 配置文件 javax.jdo.option.ConnectionURLjdbc:mysql://hadoop100:3306/metastore?createDatab....