大数据知识_大数据学习笔记

1. 消息队列 1.1 MQ 的相关概念 1.1.1 什么是 MQ MQ，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的信....

Hive是一个基于Hadoop的数据仓库工具, 可以将结构化的数据文件映射为一张表, 并提供类似于SQL的查询功能。 Hive本身并不存储....

使用G1后报错 Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data for....

最近打算研究下ES和Kibana,打算先自己安装学习一下。通常我们服务器会通过log4j会把服务器日志输出到到控制台上来或者log文....

2021SC@SDUSC Hadoop源码分析（五） ApplicationMasterService源码分析 2021SC@SDUSC 一、ApplicationMasterService简介二....

前言 流式计算可能在日常不多见，主要统计一个阶段内的PV、UV，在风控场景很常见，比如统计某个用户一天内同地区下单总量来....

文章目录 1.MQ的相关概念1.什么是MQ2.为什么要用MQ3.MQ的分类4.MQ的选着 2.RabbitMQ1.RabbitMQ概念2.四大核心概念交换....

问题描述： 使用Spark SQL采用overwrite写法写入Hive（非分区表，），全量覆盖，因为人为原因脚本定时设置重复，SparkSql计....

1、为什么学习numpy？ 快速方便有科学计算的基础库 2、什么是numpy？ NumPy（Numerical Python）是 Python 科学计算的基础包....

文章目录 1.Hive概述（1）数仓工具Hive的产生背景（2）数仓工具Hive与RDBMS对比（3）数仓工具Hive的优缺点（4）数仓工具Hive....

大数据SPARK系列篇-1个经典的入门实例(单词统计功能) 基于SCALA语言 sparkContext.textFile(“hdfs://hadoopNode1:8000/data....

实验概述： 1. 配置Hadoop主从服务 2. 配置服务器ssh免登录 3. 验证Hadoop安装成功 实验目的： 通过该实验后，可以独立安装....

文章目录 Java开发环境搭建系列目录1.erlang安装2.RabbitMQ安装3.启动rabbitmq Java开发环境搭建系列目录 点击标题跳转文....

Git 图片是从网上找的，觉得非常不错，不过忘记保存原地址了，很对不起原作者，如果有读者知道这张图的出处，可以私信我....

SparkSQL SparkSQL概述 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 SparkSQL编程 DataFrame编程....

使用case… when 语法来操作，when后的条件可以是某个值，也可以是表达式 -- 条件是具体的值select case col_name1when 1 th....

首先要配置Kafka服务监听外网ip的listeners listeners=PLAINTEXT://内网IP:9092 advertised.listeners=PLAINTEXT://外网IP或....

2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛 目录 2021年全国行业职业技能竞赛暨....

1. 下载 链接： http://zookeeper.apache.org/releases.html https://archive.apache.org/dist/zookeeper/ 2. 上传 通....

题记： 我们可能会遇到需要对一个很大的文件的某一行进行去重，排序，或者对两个文件进行合并等。本文主要测试了几种不同的....