大数据系统知识_大数据系统学习笔记

1 基础说明 Flink 是一款优秀的批处理和流处理的大数据计算引擎，本文将通过Flink的Java Api实现WordCount多版本案例。更多....

错误信息 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_164828....

【报告格式】电子版、纸介版 【出品单位】华经产业研究院 本报告由华经产业研究院出品，对中国煤矿安全设备行业的发展现状、....

“我们习惯给我们的时代一个浪漫的名字，纪念我们在时代的尘埃里经历过的一切。” 在2022年的后疫情时代，病毒、地域阻隔了....

解析： 输入输出格式化的类 map端处理完会先写到环形缓冲区，100M,80% 溢写磁盘时会分区（哈希分区），排序（快速排序） ....

kafka生产者——python Api使用 一、环境简介二、测试pykafka 生产者API2.1 生产者测试简单发送2.2 生产者异步发送测试 三....

Checkpoint Checkpoint功能可以保证作业失败重启或升级重启后，从上次"离开"的位置继续运行； 比如Flink Kafka就是通过Check....

分词：前置知识 在创建索引之前，会对文档中的字符串进行分词。ES中字符串有两种类型，keyword和text。 keyword类型的字符串....

Hadoop涉及用户管理的组件主要为: Kerberos, Sentry, hive/impala/hue身份认证，Yarn启动container。 以前一直使用OpenLDAP....

eclipse配置Redis开发环境（附示例代码） 环境准备一、下载JDBC驱动二、配置环境1.新建项目2.导入MongoDB驱动 三、简易示例....

（一）通过SecureCRT访问ied虚拟机 本机远程桌面连接hw_win7虚拟机 启动hw_win7虚拟机上的SecureCRT 新建一个连接，访问ie....

2022年（第八届）全国大学生统计建模大赛 竞赛信息   为在大学生中倡导学习统计知识、应用统计技能的良好氛围，聚焦经济社....

一、准备工作 1.下载安装包 hive-1.2.1：https://pan.baidu.com/s/1CNNMpQqBDE8I7-5ZrPkf4g 提取码：hztj mysql-connector-j....

文章目录 前言1. Controller 处理请求的流程2. 源码分析2.1 事件生成2.2 事件消费2.3 创建 topic 时的分区分配2.4 业务执行....

本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】SQL DW 备份策略 前言 在当前工作中，频繁且广泛....

概述 是什么 ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索....

查看docker安装包 命令:yum list installed | grep docker 安装 docker yum -y install docker    开启 docker 服务 syste....

以下是 ElasticSearch 面试题，相信大家都会有种及眼熟又陌生的感觉、看过可能在短暂的面试后又马上忘记了。JavaPub在这里整....

什么是ProcessFunction ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块: 事件(event....

eclipse配置MongoDB开发环境（附示例代码） 环境准备一、下载JDBC驱动二、配置环境1.新建项目2.导入MongoDB驱动 三、简易示....