大数据系统知识_大数据系统学习笔记

Linux centos7安装zookeeper 1.下载安装包到本地：https://github.com/apache/zookeeper/releases/tag/release-3.4.11,可以....

hadoop环境搭建请参考hadoop3.2.2集群搭建 环境 centos7、jdk1.8.0_311、scala-2.12.15、zookeeper-3.6.3、hadoop3.2.2、spa....

统计的基本任务是对国民经济和社会发展情况进行统计调查、统计分析，提供统计信息和咨询意见，实现统计监督，为各级政府部门....

#primary key 关键约束，约束表唯一对应的记录。 #not null 非空约束，表的数值不能为空。 #default 默认约束，约束表的默认....

C#使用rabbitmq在接收消息事件处理中报错： Already closed: The AMQP operation was interrupted: AMQP close-reason, in....

目录 零、项目思路 一、项目搭建 1.1 新建Module 1.2 添加依赖、添加静态资源等准备工作  二、数据获取—— 爬虫 2.1进入....

MQ消息中间件 MQ(Message Queue)译为消息队列，是应用程序与应用程序之间通信的一种方式。 为什么使用消息队列，适用于那些....

数据分析 首先task4是一个项目做一个数据分析的题目是关于2020美国选举的。 数据集 所有候选人信息 CAND_ID 候选人ID CAND_N....

目录 一、MQ简介 二、MQ主要用途 1.限流削峰 2.异步解耦 3.数据收集 三、MQ主要产品 ActiveMQ RabbitMQ Kafka RocketMQ 一....

源码部署EFK 基础环境 关闭防火墙 systemctl stop firewalldsystemctl disable firewalld 关闭内核安全机制 sed -i "s/.*SEL....

什么是SpringCloud Stream ？ SpringCloud Stream 是一个构建消息驱动微服务的框架，应用程序通过inputs或者outputs来与Spri....

1.一个kafka体系架构包括 1)若干Producer,可以是服务器日志,页面生产的page view等.Producer使用push模式将消息发布到Broker....

01 互联网行业背景 在数字经济时代，用户面临的消费场景和沟通场景都更加碎片化。因此，企业急需一款数字化营销工具打造属于....

文：王东阳 前言 状态在Flink中叫作State，用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果，分为无状态计算和....

架构 brokertopic：按照topic来分类消息。partition：一个topic包含多个partttion，parttion里面包含多条消息。offset：消息....

#!/bin/bash if [ $# -lt 3 ] then   echo "Usage: ./deploy.sh srcFile(or Dir) descFile(or Dir) MachineTag"   echo "U....

根据前言可以看出，第一步是cli向Driver提交作业，因此我们需要找到代码中的CliDriver类，并搜索出里面的main方法，一切从ma....

1.配置虚拟机 IP 名字  2.配置免密登录 (ssh-keygen -t rsa  生成两个文件id_rsa（私钥）、id_rsa.pub（公钥））(ssh-copy....

step: 1.准备好hadoop环境 2.准备MySQL环境 （因为hive的元数据数据库是derby 不能多用户操作(在不同目录底下启动hive derby....

由于公司的安规要求，不允许又第三方的聊天工具、云盘及笔记，导致有道云无法使用，故将有道云笔记整理发布在CSDN 首先，可....