大数据知识_大数据学习笔记

假设我们在对RDD进行转化的时候，需要用同一个RDD得到两个结果，如下面代码所示。 val rdd = sparkContext.makeRDD(List....

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，....

Hadoop源码解读一 前言寻找入口类main方法createNameNode方法NameNode构造方法initialize方法loadFromDisk方法loadFSImage方....

注意版本号 如果你es用的是7.6.1 ,那么你kibana最好也得用7.6.1 版本号的 去我百度网盘下载资源 自己自行准备,或者用我百度....

业界要闻 1. IDC：中国公有云服务市场开启综合能力比拼时代 摘要： 国际数据公司 （IDC）最新发布的《中国公有云服务市场....

input { file { path => "/root/logs/*/*.log" start_position => beginning type => "applog" codec => json { charset => ....

目录 1.开启hbase进程 2.检查hbase状态 3.新建表格 4.表格查询 5.添加或删除列表 6.表内添加数据 7.表内更新数据 8.增加与删....

RDD任务的划分主要可以分为四块：Application、Job、Stage 和 Task。 Application：初始化一个 SparkContext 即生成一个 App....

1. Zookeeper 非公平锁/公平锁/共享锁 2. Leader 选举在分布式场景中的应用 3. Spring Cloud Zookeeper注册中心 Zook....

1.1. MQ是什么 MQ全程Message Queue即消息队列，是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。 1.2.....

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。 文章目录 1.概述 1.概述 ....

一 什么是用户体验 用的好不好，舒服不舒服 二 分析过程 购买什么类型的商品 去哪个电商网站购买（盒马，京东，天猫，淘宝，....

目录 问题背景 实验 1- 构建测试用例 2- 执行测试sql 原因 1- 代码定位及问题追踪 2- 单分区设想 结论 问题背景 生产环境数....

1：添加pom文件内容 junit junit RELEASE org.apache.logging.log4j lo....

在我之前的文章： Elasticsearch：Elasticsearch SQL介绍及实例 （一） Elasticsearch：Elasticsearch SQL介绍及实例（二....

文章目录 1.rpm包下载2.rpm安装3.配置及启动rabbitmq4.遇到的一些常见的错误4.1 端口被占用错误4.2 增加用户报错 之前采用....

2021SC@SDUSC

Read CSV # cat people-comma.csvname,age,jobJorge,30,DeveloperBob,32,Developer val df = spark.read.option("header", "....

什么是等保2.0？ 简单地说，等保2.0是信息安全等级保护的升级版，就是现在的网络安全等级保护。等保2.0全称网络安全等级保....