大数据系统知识_大数据系统学习笔记

在平时的工作中，join是一个高频使用的操作，spark有以下几种关联形式 这里不详细赘述每种jion操作。重点探讨这些关联方式....

1.Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 2.Spark是通用并行框架。 3.Spark 是一种与 Hadoop 相似....

From： https://liudongdong1.github.io/2021/07/19/yu-yan-kuang-jia/framework/middleware/kafka/kafka-python/ Kafka ....

目录 一、下载安装并启动 1.下载  2.配置环境变量  3.启动rocketmq （1）启动nameserver

最近用ES存储数据时，发现自己弄错了一个字段类型-----日期。其实我要存储时间错得，type类型应该是long，结果弄个date。 百....

一 iotdb数据的导出 1.首先进入到iotdb的客户端的tools目录下 root@172-16-26-29 iotdb-cli]# cd tools [root@172-16-26-29 ....

1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2.Hadoop实现了一个分布式文件系统(Hadoop Distributed File Sy....

利用flink cdc将业务数据库到ods(kafka) （1）主要代码 package com.yyds.app.ods;import com.alibaba.ververica.cdc.connec....

目录 第一章 导论 第一节 传统传播学简介 第二节 计算传播之于传统传播学：新的研究范式 一、社会科学研究的进路 二、什么是....

/hadoop fs -help cmd 可以看命令的介绍 hadoop fs -help ls 22/03/24 18:47:41 INFO conf.Configuration: Current hadoop.s....

我们知道zookeeper有3种基本角色，Observer，Follower和Leader，具体可参考zookeeper基本介绍 那我们怎么配置Observer角色呢....

哈喽，刀友们，又见面啦！ 前不久，墨墨姐在墨刀用户群里发布了一个话题：不考虑技术开发难度和设计成本，你最想做一款什么....

要加强城市基础设施短板建设和城市更新改造 ，提高城市的韧性，大力推进智能城市基础设施建设与改造，推进三维智慧城市基础....

一、方案背景 随着社会信息化的快速发展，信息技术的应用逐渐渗透到人类日常生活的各个领域。随着校园食堂安全要求越来越严....

1、简介 在实际的项目开发过程中，我们经常需要将某些变量从代码里面抽离出来，放在配置文件里面，以便更加统一、灵活的管理....

mysql操作简介 mysql中关键字执行顺序 FROMWHEReGROUP BYHAVINgSELECTDISTINCTORDER BYLIMIT 每个操作后都会产品....

往事 2020年9月份的一天，当时人在郑州的一个公寓的出租屋里。 因为晚上约了北京某知名的互联网公司（公司可能不够大，但很....

启停 启动 /export/server/zookeeper-3.4.9/bin/zkServer.sh startcd /export/server/kafka_2.12-2.4.1bin/zookeeper-server....

1.进入linux安装软件的包下，找到解压后的apache-hive-3.1.0-bin，进入 2.进入conf文件夹下，里面有一个hive-site.xml文件 3....

身为公司的业务人员，你会不会也有这样的困扰。 打开大数据量的文件时，会不由自主地在哼出，等待，是漫长的等待~ 获得数据....