大数据知识_大数据学习笔记

hadoop集群时在web中Browse the filesystem500错误汇总 基础配置文件检查：xml文件检查格式化 基础配置文件检查： 小伙伴们....

问题描述： 最近在学习Hadoop和HBase，经常使用虚拟机，一开始还好，但这几天启动虚拟机，每次都会蓝屏重启，头很大，网上查....

架构文档内容学习： 学习方法：先总体、后局部： 学习内容： 先是索引文档，之后是架构组职能文档，还有我们项目组一些图的....

操作步骤 说明 1 在flink-conf.yaml中添加zookeeper配置 #开启HA，使用文件系统作为快照存储 state.backend: filesyste....

kafka集群有机器的kafka服务掉了，重启kafka服务尝试 不行的话可能有什么冲突，比如kafka eagle与kafka的冲突 关闭kafka eag....

1.规划 2. ssh时不提示信息配置 后续需要编写HDFS HA集群的启动和关闭的Shell脚本，在Shell脚本中会涉及到 ssh nodeX 命令....

1. k8s pod版本更新流程及命令行实现升级与回滚 1.1 代码的几种发布方式 1.1.1 蓝绿发布 项目逻辑上分为AB组，在项目系统时....

一、RabbitMQ 的概念 RabbitMQ 是一个消息中间件：它接受并转发消息。你可以把它当做一个快递站点，当你要发送一个包裹时....

#修改系统名字 同时修改hosts文件 #修改IP静态地址 #关闭防火墙 #修改yum源为阿里源#检查文件的文件夹是否存在 不存在就创....

课程介绍 内容出处：https://www.imooc.com/learn/889

一、背景 事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维....

前言 公司隐私计算的项目准备使用K8S来运行计算的任务和工作调度，隐私计算的源数据放到分布式文件系统中，通过对接Ranger K....

一：HDFS客户端通过DistributedFileSystem向NameNode请求获得文件开始或全部block列表； 二：在这个列表中对于每个返回的blo....

搭建好spark后，启动hadoop集群失败，只有jps 和Master进程 错误详情： 解决方法： 1.杀掉master进程 kill 1388 . 再次启动....

准备工作 1，首先客户端进入分布式文件系统去寻找数据块的位置 利用得到的文集文件块位置来要求名称节点返还部分块这些返还....

云原生Java架构实战 K8s+Docker+KubeSphere+DevOps（中） KubeSphere平台安装简介Kubernetes上安装KubeSphere安装Docker安装....

文章目录 启动YARN集群1、一键启动YARN集群（1）命令：==sbin/start-yarn.sh==命令： ==sbin/yarn-daemon.sh start resource....

pyspark运行流程 服务器搭建Spark准备软件 xshell 7 主要执行命令行准备winscp 可视化文件管理查看软件 非常好需要用到的软....

1. Datax 简介： DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、 Hive、ODPS、....

Spark核心模块 Spark core是Spark的功能核心，其他几个模块是基于core实现和完善的。 Spark可以进行结构化数据操作和流式数....