大数据系统知识_大数据系统学习笔记

一、操作系统 先说结论：建议部署在 Linux 上。 由于以下三个原因 I/O 模型 数据网络传输效率 Kafka的社区支持度 ① I/O ....

本文研究中国市场零售干洗和洗衣服务现状及未来发展趋势，侧重分析在中国市场扮演重要角色的企业，重点呈现这些企业在中国市....

使用特殊的murmurHash求得一个hash值 想要将这个hash值按照我给定的分区数parallelism均匀划分，最大分区数为128 当分区数大....

原因是秒杀场次没有关联商品导致以下报错误的日志如下： 2022-02-14 17:05:30.017 ERROR [gulimall-seckill,,,] 16008 --- [....

安装： 从nacos官网 https://nacos.io/zh-cn/index.html 下载安装包，最新正式版：nacos-server-1.0.0.tar.gz，直接解压就可....

文章目录 一、数据分析的概念二、 数据分析的过程1. 问题定义2. 数据采集3. 数据预处理4. 数据探索和数据可视化5. 预测模型....

一、通过修改表DDL： alter table sdm.test_proj_plan set location 'hdfs://nameservice1/sdm/data/test/test_proj_pl....

1. 提交flink任务： Process finished with exit code 130org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e878....

一、什么是Kafka         分布式消息发布与订阅系统（消息发布与订阅系统：可以简单理解为订阅公众号，只有你订阅了....

装备制造业是指为国民经济各部门进行简单生产和扩大再生产提供装备的各类制造业的总称，是工业的核心部分。典型的装备制造企....

狂神说 redis 笔记Nosql概述 为什么要学Nosql 我们先在处于大数据时代，大数据一般的数据库无法进行分析处理了！2006 Hadoop....

GPS北斗授时服务,NTP让网络时钟同步更精确 GPS北斗授时服务,NTP让网络时钟同步更精确 1、时间同步技术必定将是整个大数据处....

系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖icebe....

centos8安装mysql8.0出现的问题 [root@hecs-70178 mysql8.0.11] ./bin/mysqld --user=mysql --basedir=/usr/local/mysql/mys....

环境准备 此次部署为5台服务器，hadoop1有公网，其他均为内网 角色划分方面，由于演示集群的总节点数很少，不可避免有大量角....

继LooksRare之后，又一个OpenSea挑战者X2Y2来了。上周，X2Y2宣布向超过86万个OpenSea交易用户发放X2Y2通证空投，并启动了「....

spark sql 创建rdd以及DataFrame和DataSet互转 使用SparkSession读取本地文件创建rddDateSet的介绍DataFrame的介绍Rdd转Date....

目录 1、什么是SpringAMQP 2、简单队列模型 3、WorkQueue 工作队列 3.1 模拟WorkQueue，实现一个队列绑定多个消费者 1、消....

start cmd /k "C:Kafkakafka_2.12-2.8.0inwindowszookeeper-server-start.bat C:Kafkakafka_2.12-2.8.0configzookeepe

Flink CDC 系列文章： 《Flink CDC 系列（1）—— 什么是 Flink CDC》 《Flink CDC 系列（2）—— Flink CDC 源码编译》 《F....