大数据系统知识_大数据系统学习笔记

报告类型：产业研究 报告格式：电子版、纸介版 出品单位：智研咨询-产业信息网 特种机器人是除工业机器人之外的、用于非制造....

问题截图 问题解决： 这里的spark我以为是包名，但其实是变量名， val session: SparkSession = SparkSession.builder(....

分析：       1、  当 mysql中字段为datetime类型时，datax官网查到 mysqlwriter的类型转换。  可以看出 datax json需....

前言 在上一章《Canal实现Mysql和Redis数据同步》我们使用Canal对Mysql和Redis进行数据同步，这一章我们学习使用Canal对Mysq....

1、为什么需要服务注册中心 微服务时代的服务管理 在微服务时代，我们所有的服务都被劲量拆分成最小的粒度，原先所有的服务....

问题描述 今天上班的时候，突然发现集群的内存仅剩50G了 查看管理界面才发现是9台机器宕掉了 报错log-dir are bad 猜测应该....

在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（Kafka Raft）模式，逐步去除对zookeeper的依赖（依....

选择版本 spark依赖的是hadoop和Java spark、hadoop和python的适配hadoop2.x都是基于java7开发的hadoop3.x是基于java8开发的....

Hadoop和Hbase版本选择 官网说明： https://hbase.apache.org/book.html#configuration 译文 Hadoop 选择 2.10.x binary....

目录 一、简介二、安装部署2.1 yum方式安装2.2 docker方式安装 三、RabbitMQ架构消息投递消费流程（重要）： 四、RabbitMQ....

Apache版Hadoop的下载与安装 首先，我们要下载Hadoop安装包，这里我放的apache版Hadoop3安装包，百度网盘下载链接：https://....

2022年第15届中国大学生计算机设计大赛 竞赛信息 各相关院校、省（直辖市、自治区）赛区、省级直报或省级跨省赛区：   中....

不用写存储过程，不用建数据库函数，一段sql就可以实现 不用写存储过程，不用建数据库函数，一段sql就可以实现 不用写存储过....

字节已经给offer了，今天接着上一篇抖音电商部门的数仓实习生面经，这次面试是2、3面的总结，就放在一起吧。对往期内容感兴....

目录 第7章 数据清洗与准备 7.1 处理缺失值 7.1.1 过滤缺失值 7.1.2 补全缺失值 7.2 数据转换 7.2.1 删除重复值 7.2.2....

flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是....

1 背景 Kafka是Consumer去拉Broker 中的数据，但是数据从何处开始拉是一个技术问题 为了解决这个问题场景,所以Kafka推出了....

下载安装包 去官网下载对应安装包https://prestodb.io/download.html presto-server-0.271.tar.gzpresto-cli-0.271-executab....

尽管R和Python是开发人工智能和数据科学应用程序的主要语言，但事实证明，Java是最有前途的替代语言之一，尤其是在大数据应....

不知不觉入职知乎外包已经四个多月了，作为一个应届生我还是梦想败给了金钱。外包的话真的比自研公司要轻松一点，本人毕业后....