大数据知识_大数据学习笔记

spark3.0 用户自定义函数 重写Aggregator 方法 import org.apache.spark.{SparkConf, sql}import org.apache.spark.sql.{Enc....

进入hive目录   [root@master hive]# cd /usr/cstor/hive  进入conf目录 [root@master hive]# cd conf/  复制文件h....

一、问题现象： Error creating bean with name 'erpFunctionServiceImpl': Injection of @DubboReference depend....

1、DWS层概述 1.1、DWS层定义 数据汇总层：进行轻度聚合，不跨主题域，提升公共指标的复用性。 1.2、DWS数据组合 （1）DWS层....

大家平时可能都是在本集群上读取本地的HDFS文件，那如果我有两套集群呢？这个时候该如何读取另外一套集群上面的HDFS文件呢？....

1. 安装es7.x版本 自行安装 2. 安装kibana 自行安装 3. 下载IK分词器 IK分词器github地址 4. 选择对应版本下载 5. 进入....

概述                 在RabbitMQ broker因为某些原因崩溃、重启时，可以确保消息不会丢失。但是我们发送完....

Hive开窗函数结构： xx() over(partition by xx order by xx rows between xx and xx) Hive开窗函数，大致有以下两类： 1. ....

hive sql报错ParseException in subquery source org.apache.hadoop.hive.ql.parse.ParseException:line 368:18 cannot reco....

sqoop import --connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true&defaultFetchSize=10000&useCursorFetch

时区不同步 root用户下 cd /usr/share/zoneinfo/ #进入时区cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # 复....

在某一天，我们的系统突然异常，大面积出现白屏，搜索页面点击后，响应非常慢，大量出现响应超过4秒的情况，异常高峰期平均....

基本环境： jdk1.8、tomcat8、maven3.6.3、zookeeper-3.5.9、dubbo-2.5.x 1.实验dubbo之前我们需要有一个测试的Demo，以下为....

An unexpected connection driver error occuredjava.net.SocketException: Socket Closed at java.net.SocketInputStream.socke

服务器ip：192.168.66.128 测试主机能否连接虚拟机 ping 192.168.66.128 修改虚拟机hadoop中core-site.xml vim ./etc/hadoop....

MQ相关概念： 什么是MQ:         MQ(message queue)，从字面意思来看，本质是个队列，FIFO先入后出，只不过对俄中存放的....

Linux环境下(Centos7) 下安装Kafka/Zookeeper 详细教程 单机版安装教程 文章目录 Linux环境下(Centos7) 下安装Kafka/Zookee....

1. elasticsearch基本概述         Elasticsearch 是一个分布式的开源 全⽂搜索和分析引擎，适用于所有类型的数据....

查看hadoop版本，hadoop version: 查看hive版本，hive： 查看spark版本，spark-shell： 查看jdk版本，java -version：

数据类型： float 4字节 有效位数6~7位 double 8字节 15为有效位数 变量转化：小数据转大数据可以自动。大转小需要强制类型....