大数据知识_大数据学习笔记

Spark运行WordCount例子（python） 一：前提 因为我们是在yarn上运行Spark，所以要有这个环境。文件是从hdfs上读取的，所以h....

1.工具简要说明 自动生成SQL脚本文件，自动针对docker运行容器形式的PG数据库进行数据模拟插入。可以以此为基础进行脚本改造....

文章目录 1 生产者消息发送流程1.1发送原理1.2 生产者重要参数列表 2 异步发送 API2.1 普通异步发送2.1.1 编码2.1.1.1 创建....

0.函数查询 1.显示所有系统函数 show functions; 2.查询有关日期的函数 show functions like "*date*" 3.查看函数说明 desc ....

HDFS: 统一管理分布在集群上的文件系统称为分布式文件系统 特点： 存储非常大的文件（文件的元数据存储在NameNode中 文件太....

作为全世界最大的汽车消费国，中国正在发起一场全新的变革——汽车后市场成为高速发展的新蓝海，备受资本市场的重点关注。20....

环境准备 防火墙配置 我们把 9200 和 9300 两个端口，设置为允许对外访问笔者这边是测试环境，为了防止后续麻烦，直接关....

一、问题 Java类用了@AllArgsConstructor的注解，但是在单元测试的时候依然提示只有无参的构造函数。 二、问题分析及解决....

短视频营销流量巨大，引流是效果不用质疑，而且面对的都是消费能力极强，更愿意主动消费的年轻群体。 物联网设备越来越成为....

一、State的存活时间 任何的keyed state都有存活时间，如果配置了TTL;，且状态值已过期，会尽大可能清除对应的值。 设置Valu....

作者：Adrian Tam, Ray Hong, Jinghan Yu, Brendan Artley翻译：汪桉旭校对：吴振东本文约3300字，建议阅读5分钟本文教你了....

作者处于学习阶段，刚刚完成RabbitMQ的学习，作为学生，我会用更通俗的说法，来叙述自己对RabbitMQ的了解。愿各位大佬看到有....

首发CSDN：徐同学呀，原创不易，转载请注明源链接。我是徐同学，用心输出高质量文章，希望对你有所帮助。 本篇源码基于ZooKe....

1、Zookeeper概念 Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。 Zookeeper 翻译过来就是 动物园管....

目录 1. 概述2. 体系结构2.1 插件2.2 事件2.2.1 访问事件属性2.2.2 事件 API 2.3 队列2.3.1 持久化队列2.3.2 死信队列 ....

1 需求 在TDH集群环境获取jar包目录下dict.json文件，调用udf函数getDictName( ), 传入两个入参，分别是一级编码和二级编码....

深入理解边缘计算（云、边、端工作原理与源码分析） 边缘计算是指在用户或数据源的物理位置或其附近进行的计算。将云计算中....

一、Grafana介绍 Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通....

关于window下安装rabbitmq延迟消息队列插件： 1.先配置好关于rabbitmq的环境变量 2.去github搜延迟队列插件**https://object....

Spark Shuffle ​ Shuffle描述着数据从map task输出到reduce task输入的这段过程。Spark的数据模型是RDD,弹性分布式数据集，....