大数据知识_大数据学习笔记

5G、物联网、人工智能、低代码等新技术有助于推动未来经济和城市发展，为人民提供更智能便利的生活环境，因此智慧城市建设成....

pandas数据合并 使用contact，append，merge完成数据集合并 自己学习用，欢迎大佬指正。 1.concat pd.concat()可以合并....

解压安装包 查看版本信息      名称节点格式化 启动hadoop 用jps判断是否成功

Kafka线上问题优化 如何防止消息丢失 发送方： ack是 1 或者-1/all 可以防止消息丢失，如果要做到99.9999%，ack设成all，把m....

1.SpringBoot环境和测试类，我就不讲了。 2.yml中的配置         clustername：是es的集群名称，默认是elasticsearc....

关于Secret对象 和ConfigMap对象用来保存明文格式的参数不同，Kubernetes 的 Secret 对象类型是用来保存敏感信息的，这些敏....

本文以目前最新的Flink release分支release-1.14讲解源码的编译。 1. 环境准备 源码编译前需要事先准备3个工具: git，maven....

目录 第一章：什么是大数据 1.什么是大数据，大数据是什么？ 2，什么级别称之为大数据？ 3，大数据发展速度离不开硬件的支撑....

1.通过以下步骤，配置Worker节点 a) 重命名slaves.template文件为slaves，使用以下命令： mv /usr/local/spark/conf/slaves.....

安装 1.上传Spark压缩包 2.解压缩Spark到/usr/local目录 sudo tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /usr/local cd ....

接上篇：hadoop单机配置 1、配置scala     1)添加环境变量         vi /etc/profile         export CLASS_H....

CREATE DATABASE IF NOT EXISTS jcgf DEFAULT CHARSET utf8; USE jcgf ; #建学生表 CREATE TABLE IF NOT EXISTS stu (    ....

RabbitManagementTemplate rabbitManagementTemplate=new RabbitManagementTemplate("http://47.115.31.214:15672/api","wor....

1.在单机版hadoop的前提下安装伪分布式hadoop cd /usr/local/hadoop-2.6.5/ cd $HADOOP_HOME 2.vi etc/hadoop/core-site.xml....

1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 onboot=no =>yes 动态获取ip 192.168.140.143 可以根據網段設計....

一、Hadoop的目录结构解析 目录名解释bin可执行程序etc配置文件includeC/C++ 头文件lib自身库文件libexec自身程序的配置文件....

Flink面试题 1.简单介绍一下 Flink 2.spark streaming与flink对比 1.1 架构模型 1.2 运行模型 1.3 容错机....

在信息时代，互联网对企业的发展产生了巨大的影响，也推动了物联网的发展。物联网仍处于起步阶段，但随着社会的发展和时代的....

Kafka安装配置与部署 简介一、基本概念二、环境配置三、操作过程 简介 Kafka是由Apache软件基金会开发的一个高吞吐量的分布....