
前言 相关文章 《01-kafka单机部署》 《02-kafka集群搭建》 >> 更多kafka常见问题 进入文集 1. 默认位置 默认存储在tmp下....
本学期学习了大数据技术之spark,期末大作业就是使用Flume+kafka+SparkStreaming实现实时处理,在这之中有很多奇奇怪怪的问....
目录 hadoop概述什么是hadoop?hadoop特点hadoop组成 hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己....
一、IK分词器 **下载地址:**https://gitcode.net/mirrors/medcl/elasticsearch-analysis-ik?utm_source=csdn_github_acceler....
什么是云安全? 用一句话说就是解决云计算场景下的安全问题。 详细点说就是:根据NIST定义,云计算 按照服务模式分为IaaS、P....
参考文末文章,加上自己的理解。 目录 1、增量更新 2、对第一种情况 2.1、准备工作 2.2、更新数据 3、对第二种情况 3.1、准....
部署前环境准备(基本的环境变量配置这里就不赘述了) jdk8和flink-1.14.0-bin-scala_2.12 我这里准备了四台服务器,分别为no....
1 官方文档 Spark UDAF 官方文档 1.1 定义 User-Defined Aggregate Functions (UDAFs) are user-programmable routines that....
我们在开发过程中使用spark集群的时候,经常会遇到调试困难的问题,本文介绍一种通过本地IDE关联开发机,对远程开发机代码进....
1.mapper开发 在项目目录“/src/main/java/com/example/es”的EmployeeMapper类中新增修改员工信息接口,具体代码如下。 @Ea....
场景 假设有这样一个场景:进程a从es集群里读取商品数据goods,修改后再次存到es中,与此同时,其他多个进程(进程b、c…)也....
Class类的方法: Method[] getDeclaredMethods() 获得所有已声明的方法 Field[] getDeclaredFields() 获得所有已声明的属....
1、在每个节点生成公钥和私钥,并将公钥拷贝到其他两个目标机器上 hadoop100生成公钥私 命令:ssh-keygen -t rsa 按....
背景 本文基于spark 3.1.2 在之前的文章spark CTAS nuion all (union all的个数很多)导致超过spark.driver.maxResult....
如何正确使用pyspark将数据发送到kafka经纪人? 【Pyspark】Spark导入zip文件/上传zip文件 从kafka主题中接收数据,对该数据....
###Docker安装 ElasticSearch docker pull elasticsearch:7.12.0查看本地镜像列表docker images | grep elasticsearch运行镜....
目录 一、本人大数据工作内容? 二、高级/资深大数据架构涉及哪些内容? 三、大数据学习路线 四、送给在学习路上的小伙伴一....
文章目录 一、互斥原理二、互斥过程描述三、同步原理及过程四、生产者-消费者问题五、例题 一、互斥原理 一次仅允许一个进程....
配好了Spark集群后,先用pyspark写了两个小例子,但是发现Tab键没有提示,于是打算转到scala上试试,在spark-shell下有提示了....
一、分区策略 1、分区的原因 ①方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic 又....