
SparkShell spark shell的流程具体操作读取HDFS上的文件访问的几种方式 简介:spark-shell是Spark自带的交互式Shell程序,....
RDD编程(3)——持久化 持久化简述 第二次行动操作会重复上面的所有操作,RDD会多次重复生成进行计算,这样代价较大。如果....
Flink CDC Flink社区开发了 flink-cdc-connectors 组件,这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和....
区别: RDD是分布式的java对象的集合,但是对象内部结构对于RDD而言却是不可知的。 DataFrame是一种以RDD为基础的分布式数据....
文章目录 Spring cloud config配置中心步骤三个业务模块的配置,传到git仓库搭建配置中心配置中心的客户端 Rabbitmq消息中....
【摘 要】 白皮书以数据要素的价值释放作为核心逻辑,重点探讨大数据政策、法律、技术、管理、流通、安全等方面的内容,并对....
1.Hive Lateral view Lateral View用于和UDTF函数(explode、split)结合来使用。 主要解决在select使用UDTF做查询过程中,....
HIVE学习 1、基本概念 HIVE是类SQL的语言,它们的查询语言是相似的;但处理的数据规模、数据量不同。 是hadoop的一个客户端....
Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用java语言所实现的开源软件的架框, 在大量计算机组成的集群当中....
目录 一. 【实验准备】 1.工作目录 2.打开eclipse并配置工作空间 二、准备工作 1. 新建项目 2. 准备测试数据 3. 添加 MapRe....
打开虚拟机 首先确保虚拟机上安装了hadoop spark hive hbase 然后依次启动 启动hbase 首先先确保 先启动zekooper hadoop启....
Exchanges 1、Exchanges1.1、Exchanges概念1.2、Exchanges的类型1.3、无名exchange 2、临时队列3、绑定(bindings)4、Fanout....
大数据-玩转数据-Hadoop 集群搭建和简单应用 目录 • 概念了解 • 集群服务器规划 • 软件安装步骤概述 • Hadoop安装 o 1、....
1.spark代码如下 报错代码为 val address = IpParse.evaluate(dataMapIp) 调用工具类的如下代码,new 对象的时候找不到文件 ....
1. 什么是搜索引擎? 顾名思义就是按关键字搜索到你想要的内容,类似于百度 搜素引擎的应用场景 当数据库数据量很大时,使用....
目录 一. 【实验准备】 1.启动Hadoop集群 2.安装Hive 3.工作目录 4.解压Hive 二. 【实验步骤】Array数据类型的使用 1.创建数....
文章目录 1 前言2 一张图3 参考资料 1 前言 由于自己经验并不丰富,理解也不深刻,但是被hadoop、spark、flink、geospark、s....
bug重现 kafka消费者只能消费到部分canal传到kafka的数据 [2021-12-21 21:39:23,851] WARN [Consumer clientId=consumer-con....
ZooKeeper部署 ZooKeeper :Shell脚本搭建单机版ZooKeeperZooKeeper :搭建ZooKeeper集群ZooKeeper :Nginx基于TCP协议代理Z....
目录 一. 【实验准备】 1.资源文件夹 二. 安装Hive及配置环境 1.Hive安装 2.配置环境变量 三. 启动Hive执行如下命令启动hive....