
1、distinct去重时会考虑所有列 2、dropDuplicates去重时,可以选择某几列,针对这些列去重。
大数据时代的4v 数据量大:数据量能够达到P,E甚至是Z级别数据种类多:数据有多种,如日志,图片,音频,视频等价值密度低:....
官方下载地址:Apache Atlas – Data Governance and Metadata framework for Hadoop 官网文档地址:Apache Atlas – Buildi....
spark3.0 用户自定义函数 重写Aggregator 方法 import org.apache.spark.{SparkConf, sql}import org.apache.spark.sql.{Enc....
进入hive目录 [root@master hive]# cd /usr/cstor/hive 进入conf目录 [root@master hive]# cd conf/ 复制文件h....
一、问题现象: Error creating bean with name 'erpFunctionServiceImpl': Injection of @DubboReference depend....
1、DWS层概述 1.1、DWS层定义 数据汇总层:进行轻度聚合,不跨主题域,提升公共指标的复用性。 1.2、DWS数据组合 (1)DWS层....
大家平时可能都是在本集群上读取本地的HDFS文件,那如果我有两套集群呢?这个时候该如何读取另外一套集群上面的HDFS文件呢?....
1. 安装es7.x版本 自行安装 2. 安装kibana 自行安装 3. 下载IK分词器 IK分词器github地址 4. 选择对应版本下载 5. 进入....
概述 在RabbitMQ broker因为某些原因崩溃、重启时,可以确保消息不会丢失。但是我们发送完....
Hive开窗函数结构: xx() over(partition by xx order by xx rows between xx and xx) Hive开窗函数,大致有以下两类: 1. ....
hive sql报错ParseException in subquery source org.apache.hadoop.hive.ql.parse.ParseException:line 368:18 cannot reco....
sqoop import --connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true&defaultFetchSize=10000&useCursorFetch
时区不同步 root用户下 cd /usr/share/zoneinfo/ #进入时区cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # 复....
在某一天,我们的系统突然异常,大面积出现白屏,搜索页面点击后,响应非常慢,大量出现响应超过4秒的情况,异常高峰期平均....
基本环境: jdk1.8、tomcat8、maven3.6.3、zookeeper-3.5.9、dubbo-2.5.x 1.实验dubbo之前我们需要有一个测试的Demo,以下为....
An unexpected connection driver error occuredjava.net.SocketException: Socket Closed at java.net.SocketInputStream.socke
服务器ip:192.168.66.128 测试主机能否连接虚拟机 ping 192.168.66.128 修改虚拟机hadoop中core-site.xml vim ./etc/hadoop....
MQ相关概念: 什么是MQ: MQ(message queue),从字面意思来看,本质是个队列,FIFO先入后出,只不过对俄中存放的....
Linux环境下(Centos7) 下安装Kafka/Zookeeper 详细教程 单机版安装教程 文章目录 Linux环境下(Centos7) 下安装Kafka/Zookee....