技术方面 Spring/SpringBoot原理，源码。 理解项目开发各个流程，以及常用的技术。 《设计模式》 《rabbitmq实战》 《redis....
文章目录 hive企业级调优一、explain二、fetch三、本地模式四、表优化1、小表 join 大表 （map join）2、大表 join 大表3、G....
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 问：histogram有什么特点？ 答....
伴随着电子商务和网络零售的蓬勃发展，我国邮政快递业发展十分迅速，已成为国家重要的战略性基础设施和社会组织系统之一，“....
hive自定义函数-基于位置的数据脱敏 简要代码 简要 该函数， 1.若想自动脱敏，可以仅传入数据即可 2.若想通过自己传入位置脱....
文章目录 需求分析技术选型系统数据流程设计具体版本型号服务器选型集群规模集群资源规划设计 需求分析 1，用户行为数据采集....
学习设计模式 找到稳定点和变化点，把变化点隔离出来先满足设计原则，慢慢迭代出设计模式平时理解工作中业务也是一样的 设计....
1、集群准备 环境：阿里云（三台） 查看并关闭防火墙 systemctl status firewalld --查看防火墙systemctl stop firewalld....
数据仓库概述 数据仓库（Data Warehouse），简称DW或DWH，是一个面向主题的（Subject Oriented）、集成的（Integrate）、相....
HDFS-集群数据均衡之磁盘间数据均 生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁....
1. import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} import org.apache.spark.rdd.RDD //kv类型算子 ....
整个的思路是： 构造数据源窗口聚合代码 1. 构造数据源 首先构造数据，新建一个MyData2.java的文件，写入这个MyData2的类 pa....
业务代码中，需要根据一个或多个条件，查询是否存在记录，不关心有多少条记录。 普遍的SQL及代码写法如下： // SQL写法: SE....
sparksql的操作 sparksql中RDD、Dataframe、DateSet的创建于相互转换自定义UDAF函数弱类型：继承UserDefinedAggregateFuncti....
进销存管理是指对企业管理过程中采购（进）、入库（存）、销售（销）的动态管理过程，门店系统的进销存系统为门店提供采购、....
文章目录 HDFS—核心参数(生产调优)1 NameNode 内存生产配置1.1 NameNode 内存计算1.2 Hadoop2.x 系列，配置 NameNode 内存1....
默认情况下，检查点被禁用。要启用检查点，请在StreamExecutionEnvironment上调用enableCheckpointing(n)方法，其中n是以毫....
常用的插入数据的方法id是采用sequence自增，每次循环，都会查询一次sequence，然后插入一条数据，这就导致性能极低。通过改....
Spark基础核心知识 什么是RDD？RDD有什么特点？能否携带数据？RDD：叫做弹性分布式数据集 特点：不可变，可分区，里面的元素....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
