大数据知识_大数据学习笔记

Hive Hbase简介 ​​一.Hive的基础知识 1.hive是由Facebook开源用于解决海量结构化日志的数据统计，hive的出现就是为了简化....

Spark 简介 是什么 为大规模数据处理而设计的快速通用的流式计算引擎MapReduce 的通用并行计算框架支持Java、Scala、Python ....

dockerfile构建apache //目录树[root@localhost apache]# tree.├── Dockerfile└── packages ├── apr-1.7.0.tar.....

一、查看当前主机名 命令：hostname 修改主机名 命令：vi/etc/hostname 一定要在vi的命令模式下 编辑模式下：i当前光标所在....

课程目录 1.Hadoop的源起与体系介绍.mp4 2.Hadoop的源起与体系介绍.mp4 3.Hadoop的源起与体系介绍.mp4 4.实施Hadoop集群.mp4....

Kafka是一种高吞吐量、分布式、基于发布-订阅模型的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的....

一、把安装包拉到/opt/software/下面 把apache-flume-1.9.0-bin.tar.gz的安装包拉到/opt/software/下面   二、解压 cd /us....

文章目录 现象原因解决方案 现象 21/12/10 16:24:13 WARN hdfs.BucketWriter: Closing file: hdfs://xxx/origin_data/kafka/....

文章目录 一、SparkSQL概述 （一）SparkSQL简史 （二）SparkSQL的特点 （三）SparkSQL执行流程 二、....

目录 一、镜像准备 二、配置准备 1.ubuntu安装ssh 2. 开放22号端口 3. 配置密码可访问  4. 登录到ubuntu服务器   三、搭....

第7章：Dubbo集群容错 Dubbo容错机制对上层透明（上层看不到具体的实现） 1.容错机制概述 1.1 Failover Cluster接口上有SPI....

互联网业务数据分析报告及用户分层模型 一、商品画像体系1、什么是商品画像体系2、商品画像体系的数据来源3、商品画像体系的....

watermark介绍 在Flink中，Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 ....

近年来国家提出了“碳高峰”“碳中和”的发展规划，既是碳排放大户、又关乎民生的电力及电网行业，成为了降本增效的排头兵。....

2021 大数据应用开发Java 1+x中级实操题答案汇总--含3篇 2021实操题答案20211030 1+X 中级实操考试样题20211127 1+X 中级实....

#!/bin/bash##by lyg 20211203#请必须修改变量TABLE_NAME###日志存储所在LOG_FILE=./si_table.log#临时目录所在TMP_DIR=./si....

近日，福布斯中国携手红杉中国首度发布“中国企业科技50强”榜单，悬镜安全凭借企业创新力、市场领导力，以及未来发展潜力多....

HDFS //linux121start-dfs.shstop-dfs.sh Yarn //linux123start-yarn.shstop-yarn.sh Zookeeper //linux121cd /root/shellssh zk

Apache Spark 当前最流行的大数据处理框架之一。最初它是作为替代 Hadoop 的 MapReduce 批处理框架而创建的，但现在它也支持....

MapReduce程序一般都需要包含三个部分：Mapper、Reducer和Driver。 注意：Mapper类中的map方法是每执行一行数据执行一次。 ....