大数据系统知识_大数据系统学习笔记

需要工具： VMware, jdk, centOS7, hadoop Ⅰ.虚拟机安装 centOS官网 The CentOS Project VMware自行下载 centOS安装建....

学习总结 文章目录 学习总结一、Spark介绍1.1 Scala和PySpark1.2 Spark原理1.3 一个具体栗子 二、安装方式三、测试是否安....

hadoop集群配置踩坑实录 实验背景介绍 使用三台主机建立hadoop集群。其中，master为主节点，slave1、slave2为从节点。 踩坑....

目录 Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆级教程准备工作一、配置你的新系统1. 更换国内源并更新软件2. 将事先....

Big Data & Data Integration 1. PC -> （移动）互联网 2. 移动互联网迅猛发展 移动互联网的到来以及用户行为习惯的变化 ->....

消息丢失类型 发送丢失 1、未到达交换机 2、未到达队列 存储丢失消费丢失原因 发送过程中网络异常 未开启持久化，MQ宕机却未....

Hbase提供了TableMapReduceUtil工具类，可以直接使用 需要提供的包括，表名、Scan对象、mapper的class对象、输入，输出类型....

Docker安装ElasticSearch 1 安装说明 在平时工作的时候，开发环境大多数会安装单机ElasticSearch，但生产环境基本会安装Elas....

初始化Schema成功，bin/hive可以启动但报错，show databses报错。在hive.log中可以查看到有如下报错信息: 2022-03-15T09:24:....

文章目录 手把手带你搭建Hadoop集群虚拟机配置修改网络配置文件⚠ ens33找不到三台机子--关闭防火墙三台机子--关闭selinux三....

文章目录 安装kafka_2.12-3.1.0安装环境安装步骤1、下载安装包2、修改配置文件修改server.properties添加环境变量3、启动kaf....

一、环境准备 Kafka集群环境搭建，需要准备好一个zookeeper环境（集群），zookeeper需要java环境 tar xf /java_v1.8.0-201_z....

概念解释： Broker： 消息队列服务器实体生产者（Producer）：发送消息的应用消费者（Consumer）：接收消息的应用队列（Que....

1.创建新用户 useradd heipilei 2.heipilei用户下创建所需文件夹 mkdir sourcecode software app log lib data tmp shell 3.....

一、替换操作(replace)  替换操作可以同步作用与Series和DataFrame中 df.replace(to_replace , value , replace , ...)  ....

目录 一、Hive 1、概述 2、Hive和数据库的比较 3、特点 ①、优点 ②、缺点 二、Hive的安装 1、概述 2、安装步骤 3、Hive运行....

1）下载docker镜像 docker pull apachegriffin/griffin_spark2:0.3.0docker pull apachegriffin/elasticsearchdocker pull a....

datanode启动不了 datanode的数据节点启动不起了，大多数情况下就是执行==./hadoop namenode -format==命令，导致出错。 ....

Pandas分组聚合 创建一个dataframe结构分组函数 groupby()初识分组聚合多重行索引分组聚合对多列数据进行分组聚合综合应用 ....

hmaster启动一小会之后会自动挂掉 进入hbase目录下的logs文件夹查看master的运行日志之后发现： 是hbase-site.xml配置出现....