大数据知识_大数据学习笔记

1.split 文件不可分割，一个文件一个split。通常一个split就是一个block,split size是允许用户自定义的，有多少个split，就....

将hive任务中的reduce设置为100，如下 set mapred.reduce.tasks=100;

解压安装Hive tar -zxvf /h3ch/apache-hive-2.3.4-bin.tar.gz -C /usr/local/src/ 配置环境变量 全局环境变量 vim /root/.ba....

距离上次的随笔，已经过去了好久，慢慢的入职也8个多月了，试用期过后也半年了，这次主要记录下自己的变化，学习到的知识点....

1、下载 kafka 下载地址：http:// kafka .apache.org/ 2、解压缩并把 kafka 放到opt下 tar -zxvf kafka .tar.gz mv kafka /o....

初识Elasticsearch 文章目录 初识Elasticsearch 前言一、ES基本架构二、实际运用关于架构：关于调优：关于Elasticsearch ....

大数据分析属于市场热门岗，之所以会得到众人的认可和推崇，主要是因为它被应用于各行各业，大数据分析的根本目的是为了结合....

1.安装mysql驱动 https://dev.mysql.com/downloads/connector/j/ cp mysql-connector-java-8.0.27.jar $SPARK_HOME/jars 2.....

前言 本文主要给大家介绍ES中的高级特性监视器Watcher的使用。 需要注意的是，ES免费版本中暂不支持该特性。 一、什么是监....

1. 数据结构算法篇 时间复杂度分析，这个很多人都不知道，更别谈会了！ 链表竟然比数组慢了1000多倍？你敢信？ 统治世界的十....

我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样....

开发细节与风险控制 开发细节当中即伴随着各种各样的风险，并要即时反馈和处理风险，如工作量评估、技术难度评估、人员变更....

CDH集群配置目录汇总 1、CDH目录汇总2、CM详解2.1 Service Monitor：2.2 Host Monitor：2.3 server/agent配置目录2.4 server....

新增字段 PUT http://host/index名字/_mapping{ "properties":{ "last_time_used":{"type" : "date"} }} 全部更....

一. Zookeeper 1.zookeeper基本知识（过半机制） 大数据的生态圈 1.1zookeeper概述 zookeper是分布式协调服务的开源框架用....

前言 flink默认提供的sink无法直接访问clickhouse，本文基于flink-clickhouse-sink插件访问clickhouse 一、DataStream Conn....

1.SourceFlink-Environment的三种方式和Source的四种读取方式-从集合中、从kafka中、从文件中、自定义 2.Transform 2.1、ma....

https://blog.csdn.net/weixin_41919236/article/details/84522423

LeetCode 239. 滑动窗口最大值 天津科技大学第六届科技文化节算法设计大赛第17题 难度：困难 题目： 给你一个整数数组 nums....

ELK使用教程 华为云的镜像下载 ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D logstash: https....