
flume功能 flume做简单的数据过滤处理,收集日志,转发到HDFS、HBASE进行存储 or 连接kafka(消息队列、临时存储)连接到str....
当前外贸形式复杂严峻、不确定因素增多,皮革行业下行压力不断加大,在产业链总体经济形势复杂且变化迅速的情况下,传统企业....
1.spark与yarn的对比 ApplicationMAnage在spark中叫做driver AM向RM申请的是executor资源,分配executor之后由driver来管理 ....
目录 一:读数据 二:写数据 一:读数据 1:FileSystem调用open方法,打开一个抽象的路径 2:到namenode获取一个block信息....
大家好,我是芒果。 不知道大家是否记得,很久之前分享过一篇用户分层的方法论文章,详见用户分层方法论总结,文中详细介....
一、创建表 官网创建HIVE表定义如下: CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (....
承接着上一节,手把手教你写一个RPC框架(一) 我们手写了一个Spring Boot Starter,开启了自己造轮子的第一步,这一节,我....
2021SC@SDUSC 目录 选举同步广播 选举 最新的版本里的选举算法只有一个 ,即FastLeaderElection方法。 选举:通过特定的选....
CentOS7安装Nacos 准备条件一、下载二、解压三、设置单机启动四、设置开机启动五、立即启动六、开放8848端口,重启防火墙七....
前言 上一篇我们说到了SpscLinkedArrayQueue,它是一个单生产者单消费者的队列。在实际的开发过程中不可能都是单生产者,很....
Flink 中的执行图可以分成四层:StreamGraph -> JobGraph -> ExecutionGraph -> Physical Graph。 首先 StreamGraph:是根据....
一、zookeeper概述 1、zookeeper:是一个开源的、分布式的,为分是不是框架提供协调服务的Apache框架。 2、zookeeper工作机....
文章目录 1. 文档的全量替换2. 文档的部分更新3. 文档的部分更新原理4. 文档部分更新的并发冲突问题 1. 文档的全量替换 在E....
目录 一、流水线Pipeline概念二、流水线工作流程2.1 训练过程2.2 测试过程 三、Estimator, Transformer, Param实例四、Pipe....
Docker部署Nginx 1.搜索nginx docker search nginx 2.拉取远程仓库的nginx docker pull nginx 3.启动nginx镜像 # 参数意义: ....
1. 结构目录 [root@localhost ~]# tree haproxy/haproxy/├── dockerfile└── files ├── env.txt ├── hapro....
需要准备好vmware,contos等环境(自行准备,此处不做说明)我的安装路径: /usr/soft Benchmark:里面存放了一些demo,可以运行....
CAP 关注粒度是数据 而不是整体架构思想 C:强一致性A:可用性P:分区容错性 AP架构(eurka) 当网络分区出现后为保证可用....
RabbitMQ 的概念 RabbitMQ 的概念 rabitMQ是一个消失中间件: 他接受并转发消息, 你可以把他当做一个快递站点 ,当你要发送....
什么是Watermaker? Watermaker 是和 event_time相匹配的。 Watermaker就是基于event_time 给消息再额外的加的一个时间列 也....