
背景 本文主要从源码角度对flink底层是如何将task分配到各个taskExecutor上执行,以及task执行的线程模型进行分析。会涉及到....
前置准备: Redis (高性能)+MongoDB(海量数据)+Elasticsearch/HBase(大数据数据库) pom引入: org.spring....
文章目录 前情排查问题根本原因解决方案 前情 在这里记录一下在实际开发中,因为对SpringBoot的自动配置不熟悉所导致的一个....
SparkContext对象代表了和一个集群的连接 具体流程: 首先为应用构建起基本的运行环境,即由Driver创建一个SparkContext,进....
大数据之Sqoop 一 Sqoop简介二 Sqoop原理三 Sqoop安装1 下载并解压1) 下载地址2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-....
调优可以通过系统配置、程序编写和作业调度算法来进行。 hdfs 的 block.size 可以调到128/256(网络很好的情况下,默认为 64....
ZooKeeper 是一个开源的分布式协调服务,ZooKeeper框架最初是在“Yahoo!"上构建的,用于以简单而稳健的方式访问他们的应用程....
哈工大《大数据计算基础》课程资料链接 这里列举一下笔者当时复习时候参考的学长的火炬的链接 复习链接 算法复习的链接 系统....
springboot2整合elasticsearch 注:elasticsearch的版本为7.14.1 1,引入依赖 org.springframework.boo....
Hive 引言 简介 hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基....
es创建索引后,不支持直接修改field 类型,可以使用创建中间索引,用_reindex来实现 比如需要修改test_index索引中的字段类....
Elasticsearch 是一个实时的分布式搜索分析引擎,它被用作全文检索、结构化搜索、分析以及这三个功能的组合,内部使用 Lucen....
1、Apache Dubbo概述 1.1 Dubbo简介 Apache Dubbo是一款高性能的Java RPC框架。其前身是阿里巴巴公司开源的、轻量级的开源Ja....
基础 非交互使用 -n | --non-interactive 参数 $ echo "describe 'test1'" | ./hbase shell -nVersion 0.98.3-....
一、安装命令 docker pull sequenceiq/hadoop-dockerdocker run -it -p 50070:50070 -p 8088:8088 -p 50075:50075 sequenc....
关于Es的一点总结: "title" : { "type" : "text", "fields" : { ....
协议设计 在实际应用中,Kafka 经常被用作高性能、可扩展的消息中间件。Kafka 自定义了一组基于 TCP 的二进制协....
原因可能是使用了union,事件时间中,watermark会使用合并流中时间最小的的数值,导致时间数值较大的流即使已到达设置好的....
1、获取队列中的消息 点击queues,Get Message(s),Payload里的内容就是 2、人工往队列里发消息 Headers 设置contentType a....
具体报错如下: Error: java.lang.NullPointerException at com.hadoop.mapreduce.LzoSplitRecordReader.initialize(....