大数据知识_大数据学习笔记

redis： 内存中的数据结构存储系统，可以用作数据库、缓存、消息中间件。 k-v字典存储系统，跨平台的非关系型数据库。 支持....

我使用的Centos6.5与zookeeper2.4.1版本，进行完全分布式部署。部署完毕后，启动三台ZK集群，使用status查看情况发现异常。 ....

消费者和消费组 消费者：消费kafka消息的实体，可以是一个进程，也可以是一个线程消费组：消费组是一个逻辑概念，每个消费者....

在windows下启动zookeeper提示Zookeeper audit is disabled；表示启动失败，如下： 原因：我下的是zookeeper3.6.3版本的，....

之前网上的版本太老了，mnist_spark.py和mnist_data_setup.py测试文件的参数和位置，以及tensorflow-hadoop的版本(1.5)都更....

ForkJoin Java 7 开始引入了一种新的 Fork/Join 线程池，它可以执行一种特殊的任务：把一个大任务拆成多个小任务并行执行。....

小伙伴们，大家好~作为一名普通的Java程序员，9 月中旬成功拿到了腾讯 Java 工程师的 Offer！在我拿到 Offer 之后。 我就在....

checkpoint是怎么实现的，用到了哪些配置项 暂停处理新流入数据，将新数据缓存起来将算子子任务的本地状态数据拷贝到一个远....

Broker  一个kafka节点就是一个Broker Topic  通过topic来归类 Partition 一个topic消息可能很多，我们将一个topic的消息....

一般建表的时候要建外部表，这样一不小心删除的话，还能够恢复。 1、自己设计表结构，然后上传文件到该表中 1.1 新建表，并....

文章目录 一、探索之路升级canal.client支持rabbitmq探索结果 二、最终方案canal server升级1.1.5使用方法1. 新建Handler....

hadoop基础配置及伪分布实现 目录 文章目录 hadoop基础配置及伪分布实现目录一、基础环境准备操作系统准备换源安装java安装....

理论 Kafka 是一款开源的、轻量级的、分布式、可分区和具有复制备份的(Replicated)、基于ZooKeeper 协调管理的分布式流平台....

hadoop集群：关于Could not obtain block:报错问题 在访问hdfs时，遇到了上述问题， 属于是节点问题： 然后依次查看，防火墙....

HDFS写数据流程 1.客户端通只名称节点（SecondaryNameNode)：我要写文件了，确认客户端权限以及没有相同的文件后，SNN创建一....

分布式模型下的客户端应用运行的关键？ 分布式下，通常有多个角色进行互相协调。因此作为一个分布式角色来说，首先要解决的....

目录 前言： 坑一：LoggerFactory is not a Logback LoggerContext but Logback is on the classpath  坑二：An atte....

一、RabbitMQ安装 1、在Windows上安装RabbitMQ 在官网中下载RabbitMQ,点击跳转 下载安装程序 双击安装程序时，如果没有安装....

#FSDataInputStream封装了DFSInputStream 1.HDFS客户端请求打开文件创建输入流，请求发送给DFSInputStream。 2.FSDataInputS....

Hive架构设计原理 一、架构设计 特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接 ....