大数据知识_大数据学习笔记

下面代码目的: sparkstream 上面batch触发,需要统计个东西a(如果符合某种条件),下面window触发需要统计个东西b(如果符合某种....

HDFS —核心参数 1.1 NameNode 内存生产配置 1 ） NameNode 内存计算 每个文件块大概占用 150byte ....

Flink: No operators defined in streaming topology. Cannot execute 需要增加print(), 类似spark 中需要触发算子一样 env.....

前言 索引可能大家都不陌生，在用关系型数据库时，一些频繁用作查询条件的字段我们都会去建立索引来提升查询效率。在关系型....

常规操作elasticSearch: 对于elasticSearch的操作 通常用rest API完成 查看所有节点： GET：192.168.31.125:9200/_cat/nodes....

案例一：连续活跃用户案例 #SQL风格 import org.apache.spark.sql.catalyst.plans.logical.Windowimport org.apache.spark.s....

【软件工程实践】Hive研究-Blog4 2021SC@SDUSC 本期研究内容简略介绍 本人负责的是负责的是将查询块QB转换成逻辑查询计划（O....

FLink SQL 在设定各类数据源和数据目标端的时候非常方便，可以说写个建表语句就能获取各种各样的数据。但是在使用FileSyste....

python编程快速上手（持续更新中…） python实战项目(Django技术点) 提示： Elasticsearch的底层是开源库Lucene。但是没法直....

UDF:即用户自定义函数 UDAF：即用户自定义聚合函数 #UDF案例一： import org.apache.spark.sql.{DataFrame, SparkSession}/....

安装与登陆 docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq -e RABBITMQ_DEFAULT_USER=guest -e RABBITMQ_DEFA....

Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数....

消息发送端发送消息到交换机，交换机并不存储消息，只是转发消息给队列，当交换机的类型是fanout类型时，消息会被转发到所有....

基于IDEA环境下代码案例 wordcount案例 idea新建maven项目引入依赖创建Mapper创建Reducer创建DriverUbuntu内部运行（需要....

（三）、SparkStreaming算子 1、常见的算子操作 由于Streaming底层是基于Core来实现的，所以其很多算子相似于RDD，如下图1-1....

序言        了解了Flink提供的算子,那我们就可以自定义算子了.自定义算子的目的是为了更加灵活的处理我们的业务数据,并....

时间过得飞快，一代又一代就这么成长了起来，曾经的 95 后备受争议，如今的 95 后进入社会，扮演者各行角色，成为了行业顶梁....

一.背景 最近在做一个项目，需要接入2个ES集群，于是我初始化了2个RestHighLevelClient实例esClient和esClient1 package co....

只需用两个dn 1.Client请求下载文件 2.Nn需要看一下要下载的文章在哪里，给Client返回这个数据 3.Client要一个块一个块的下....

如何向阿里学数字化转型，驱动业绩新增长？ 数字经济时代，越来越多的企业积极进行企业数字化转型，未来企业数字化转型的能....