大数据系统知识_大数据系统学习笔记

01.创建对象,设定日志级别 from pyspark.sql import SparkSessionspark = SparkSession.builder.config("spark.driver.host"....

elasticsearch 7.16.2 单机部署及密码认证 一、部署前准备 1、ulimit 调优 二、部署ES单机 一、部署前准备 1、ulimit 调优....

2021大厂Java面试真题（分布式 ） 1、分布式服务接口的幂等性如何设计？ 所谓幂等性，就是说一个接口，多次发起同一个请求，....

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程， [h....

当今时代，伴随着金融科技的高度发展，融合5G、AI、实时音视频等创新技术，实现互动视频与金融业务的有效整合已经成为大势所....

我总共有3个hadoop集群，hadoop102，hadoop103，hadoop104，其中hdfs从hadoop102启动。 集群规划如下： jps没有datenode： ....

目录 1.大赛简介： 2.校赛 3. 网站建设方面 第十二届全国大学生电子商务“创新、创意及创业”挑战赛 (3chuang.net)http://ww....

Docker安装kafka 1、启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 2、启动ka....

说明：本文以HDFS High Availability Using the Quorum Journal Manager模式搭建hadoop3.2.0集群。 环境 CentOS7.5.1804、jd....

本文分享自华为云社区《从HDFS的写入和读取中，我们能学习到什么》，作者： breakDawn 。 最近开发过程涉及了一些和文件读取....

hadoop报错，ERROR: Invalid HADOOP_COMMON_HOME 在hadoop集群中，运行hadoop报错，ERROR: Invalid HADOOP_COMMON_HOME，....

一、前言 关于开源框架这块，其实主要是针对自己项目中使用到的框架进行准备。从使用，到使用场景、优缺点以及源码实现都需....

首先进入官网下载kafka将下载的kafka压缩包 放入linux服务器的指定目录解压kafka 命令 tar -xzf kafka_2.12-3.1.0.tgz进入ka....

首先启动数据库， mysql -u root -p 创建spark数据库，和一张student表测试使用 mysql> create database spark;Query OK, 1 ....

Hive数据定义语言（DDL）概述 1.什么是DDL语言？ 数据定义语言 (Data Definition Language, DDL) 是SQL语言集中对数据库....

本地运行hadoop 1.在/opt/module/hadoop-3.1.3/下创建wcinput文件 [admin@hadoop1002 ~]$ cd /opt/module/hadoop-3.1.3/[adm....

一、zookeeper的简介 Zookeeper: 是一个分布式的、开源的程序协调服务，是 hadoop 项目下的一个子项目。他提供的主要功 能包....

Producer：生产者，发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中。Consumer：消费者，也就是接收消息的一方....

项目场景： 项目场景：hive与SparkSQL整合时，出现该报错，严格意义上来说是 使用SparkSQL命令时遇到该报错 问题描述 在....

大家好，我是脚丫先生 (o^^o) 最近比较肝，与小伙伴负责一个小型大数据平台项目。 之前自己一直是做离线开发。 突然有一个实....