大数据知识_大数据学习笔记

记录一下最近遇到的一个kafka的问题,kafka用的比较少,理解不深出现的问题,特此记录 问题描述 业务要求: kafka上的消息要求顺....

拉取相关镜像,版本号尽量一致 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.0docker pull docker.elast....

添加依赖：  测试生产消息程序：

（一）什么是Kafka Kafka是一个分布式的基于发布/订阅模式的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列....

Hadoop原理 1. HDFS写流程 1.client通过 Distributed FileSystem 模块向NameNode请求上传文件，NameNode会检查目标文件是否....

2021年2月20日，大势智慧顺利通过国际最高权威、全球软件领域最高级别CMMI5认证，标志着大势智慧在软件研发能力与项目管理能....

MQ: 是一种程序之间通信的方式，无需建立连接，通过队列中的消息数据进行程序间通信。 MQ是一种通信方式思想，基于AMQP(adva....

1.操作系统 部署在 Linux 上 I/O 模型数据网络传输效率 1.1 I/O 模型层面 I/O 模型是操作系统执行 IO 指令的方法。 分别有五....

【撰写单位】：鸿晟信合研究院  【报告目录】:   第1章：中国产业园区运行现状分析1.1 产业园区的演化趋势分析 1.1.1 生态....

一、SparkStreaming与kafka集成的方式 1.Reciever方式。 Kafka与Streaming有Reciever和Direct两种方式，Reciever的问题是偏....

ADAMoracle广域节点喂价体系敲响预言机3.0时代大门。 在产品技术方面，ADAMoracle直击当下预言机攻击事件层出不穷的痛点，着....

上一期中，通过翻译与凝练《Spark – The Definitive Guide》，我们初步解决了Spark是什么的问题，今天我们将继续学习Spark....

一：监控主键重复 select '${dealDate}' as p_dt , count(1) as duplicate_pk_cnt -- 重复主....

问题1：rabbitmq无法登入图形化界面 问题原因：未开启rabbitmq的图形化界面 开启管理界面及配置rabbitmq-plugins enable rab....

北京炫我科技有限公司（以下简称“炫我科技”）成立于2009年，是一家横跨信息技术产业和文化创意产业的高科技公司。炫我科技....

安装教程网上很多，且全面。 在安装完成后，启动时出现报错。 问题：RabbitMQ不仅仅需要安装目录全英文，同时工作目录也需要....

随着生活节奏加快，为迎合消费者需求的转变，许多夜生活场所不断创新，酒吧无疑成为许多人放松、娱乐的休闲社交场地，甚至分....

分布式存储环境： Dell PowerEdge机架式服务器； 数据库类型：Hbase、Hive；     16台物理服务器。 故障： 16台服务器节....

一、查看230上有没有重要的非cdh的数据，有的话迁移到别的节点。查看cdh上230节点的角色 二、230重置 三、通知运维换硬盘 四....

步骤1：下载 http://spark.apache.org/downloads.html 解压tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local步骤2：....