大数据知识_大数据学习笔记

1.概述 flink 写 hive 分区表，parquet 格式，然后报错如下 Caused by: org.apache.parquet.hadoop.MemoryManager$1: New Me....

Kibana 上Es常用小干货 1、新建索引 PUT account_20211130_1717{ "settings": { "index": { "number_of_shards....

hive空字符串数组和空数组 最近在处理数据时发现一个有意思的情况 空字符串数组 ：array(’’) 空数组：array() select size....

本文是对kettle8连接MySQL8之驱动问题的终极探讨，涉及到了MySQL和kettle的前世今生O(∩_∩)O~，也是对前人经验的全面总结。....

分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器**「分别位于不同的分布式系统的不同节点之上」**....

文章目录 简介特点图例 简介 LEFT SEMI JOIN （左半连接）是 IN/EXISTS 子查询的一种更高效的实现。只存在 left SEMI JOIN，....

记录Hadoop-2.6.5完整安装配置过程 前言一、Hadoop是什么？二、Hadoop-2.6.5安装配置1. 修改主机名2. 配置环境变量3. 修改主....

今近年来，电商直播带货行情逆势上涨，李佳琪、薇娅、马云、罗永浩、雷军、李湘等大咖明星陆续加入电商直播带货阵营，各大直....

制造业数字化转型在中国还刚刚起步，目前中国制造业企业已广泛应用的工业自动化设备，对于智能制造的数字化、信息化、智能化....

背景 虚拟机安装 Hadoop 3.1.3，并运行了 HDFS。 使用本机 Java API 读取文件出错，在虚拟机中正常。 代码 package com....

Hadoop查看存储类型： 命令：hdfs storagepolicies -listPolicies IDName存储类型降级机制（原本）降级机制（副本）1PROVI....

在百花齐放、百家争鸣的电商市场中，各路商家们在产品的品质、物流、价格等方面的竞争愈演愈烈，然而最终还是要回归到消费者....

在已经配置好hadoop的环境下，查看hdfs所有目录 如下命令不起作用 ./bin/hdfs dfs -ls .// 应该更改为hdfs dfs -ls / 同理 ....

解决：测试HDFS读写性能时出现错误 今天测试HDFS的读写性能出现以下错误 java.lang.IllegalArgumentException:Unsupported B....

在近期刚结束的第10届亚马逊云科技re: Invent 2021大会上，亚马逊CTO Werner Vogels发表了主题演讲以及在其个人博客上发表了....

知识点 文章目录 知识点0. 介绍1. HDFS1.1 读数据1.2 写数据1.3 块大小1.4 Yarn调度1.4.1 Job提交流程1.4.2 调度器 ....

前面介绍了RabbitMq的几种模式，这篇文章主要介绍死信队列的使用和实际应用场景订单超时怎么和死信队列结合。 一、业务场景 ....

背景：     在msql中导出大数据量的数据时，导出后缀为xlsx的excel格式，耗费时间，有时还会中断，但是导出后缀为csv格式....

架构参考： https://clickhouse.com/docs/zh/development/architecture/ 使用参考： https://clickhouse.com/docs/zh/develo....

10、消费者分区分配策略： 什么是消费者组？ Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内有多个消....