DataFrame关联密切的是Spark SQL技术，作为Spark中的4大模块之一，在DataFrame的基础上，将其注册为表，然后使用SQL语句进行....
一、同步通讯 1. 同步调用的问题 同步调用的优点： 时效性较强，可以立即得到结果 微....
大数据概述 1.1.1三次信息化浪潮 第一次浪潮： 时间：1980年前后标志：个人计算机解决问题：信息处理 第二次浪潮： 时间：19....
概念 我们使用配置中心时，当配置中心的配置发生了变化，我们就要发送一个post请求给客户端，让它重新去拉取新的的配置。当....
一、hive的安装 hive3.1.2的连接地址 http://archive.apache.org/dist/hive/hive-3.1.2/ 1、下载后上传到/opt/apps下 2、解....
表的结构是这样的，时间的范围我是提取了几个小时内的数据 create table `alibaba.user_bea` (user_id bigint, item_id....
下载地址：Apache Kafka #创建应用目录 mkdir -p /storage # wget -P /storage https://archive.apache.org/dist/kafka/2.3.....
一.zk的安装 Step1：配置JAVA环境，检验环境： java -version ....
1）函数签名： def glom():RDD[Array[T]] 2）功能说明 该操作将RDD中每一个分区变成一个数组，并放置在新的RDD中，数组中的....
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 问：rare_terms有什么特点？ ....
注意是否配置好环境。例如HADOOP_HOME，以及相应的Windows依赖。 如果完成上述，提示的是 ChangeFileModeByMask error(3) 那....
--初始化Hive的Metastore命令bin/ schematool -dbType mysql -initSchema --hive启动--1 bin/hive--启动hive需要先启动hadoo....
需求：regexp_replace(字段wfss,’\’,’&’) 匹配wfss里数据包含反斜杠’’，然后再给它替换成’&’, 一开始我只给了两个反....
hadoop面试题汇总 1. 说说搭建hadoop集群的3个xml文件。 答： core-site.xml：核心配置文件。 hdfs-site.xml：hdfs配置文....
groupBy算子 1）函数签名 def groupBy[K](f:T=>K)(implicit kt:ClassTag[K]):RDD[(K,Iterable[T])] 2）功能说明 分组，按照....
文档参考LanguageManual SubQueries - Apache Hive - Apache Software Foundationhttps://cwiki.apache.org/confluence/disp....
什么是checkpoint? checkpoint 则表示了一个 Flink Job ，在一个特定时刻的一份全局状态状态快照，即包含了一个 job 下 所有....
文章目录 说明分享什么是RDDRDD生命周期创建RDDRDD变换RDD缓存RDD结果处理 RDD特性总结 说明 本博客每周五更新一次。 RDD....
Flume基础概述 1、什么是flume flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
