大数据知识_大数据学习笔记

未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身....

1. 准备工作 安装jdk8以上版本 2. 安装elesticsearch7.10 2.1 修改系统参数 vi /etc/security/limits.conf 末尾添加如下参....

一、问题 今天在自己电脑上将启动了好多天的hadoop集群关闭的时候，报了一个之前没遇到过的错误。 关闭yarn集群的时候显示没....

5G连接器存在怎样的魔力？让这么多工业都如此着迷？下面跟着电蜂优选，原厂直采电子连接器商城的小编一起了解吧！   5G指标....

package com.huc.sparkSqlimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apach

https://www.cnblogs.com/rjzheng/p/10841031.html mysql怎么实现acid C(一致性)是目的，A(原子性)、I(隔离性)、D(持久性)是....

1.sbin/start-all.sh启动所有的Hadoop守护进程。包括NameNode、Secondary NameNode,DataNodeResourceManager, NodeManager 2....

ES 10 - 如何使用Elasticsearch的索引模板(index template) - 瘦风 - 博客园

Kafka Kafka简介特性 原理基本概念工作机制数据存储文件offset索引 高可用双层选举 参考 Kafka简介 Kafka是一个基于发....

倒排索引 倒排索引是ES核心数据结构之一。 试想这样一个场景。我给不同的用户打标签，最终我需要根据标签找到哪些用户包含这....

前言 公司一直使用云上的kafka服务，随着业务规模和体量的增大，使用云上的服务成本相对比较高，所以考虑本地自建kafka集群....

问题描述：两台机器一台zookeeper_exporter启动正常可以查到数据，另一台可以正常启动然后检测不到数据。 注：通过Prometheu....

首先介绍下什么是HIve？ 1.基于Hadoop的开源的数据仓库工具，用于处理海量海量结构化数据。 2.Hive把HDFS中的结构化的数据文....

1. 添加依赖 下载后把flink-sql-connector-hive-2.2.0_2.11-1.13.0.jar放到flink的lib目录下 2. 创建blink版本的批处理Table....

点击上方 蓝字关注我们 好消息，中国开源云联盟（China Open Source Cloud League，简称“COSCL”）于近日公布 2021 杰出....

各位朋友大家好，今年年初有幸负责公司的一个调研系统的项目，主要背景：为了解决集团内部各种调研活动的开展，其中主要包括....

hive报错整理 加载数据错误 加载数据错误 Caused by: java.io.IOException: Malformed ORC file ORC格式是列式存储的表，不....

package com.hikvision.mes.service.system.service.util;import org.apache.zookeeper.*;import org.apache.zookeeper.data.Sta

定义 import org.apache.spark.util.AccumulatorV2import scala.collection.mutable// T: (String, Int) 这里使用案例是统计....

01 构建字符串 k:v 结构         字段处理：concat_ws(',',collect_list(concat_ws(':',....