大数据知识_大数据学习笔记

链上扩容，也常被称为layer-1扩容。 直接修改区块链的基础规则，包括区块大小、共识机制等。 链下扩容，也常被称为Layer-....

Spark Streaming 是什么 Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume....

松果出行CTO朱蓝天（右）接受腾讯新闻《智慧Talk》采访 文 | 徐叁 来源 | 螳螂观察 近两年，越来越多的共享电单车出现在城市....

问题一：一个交换机，多个队列，每个队列路由不同，向其中一个队列发送消息后，所有队列都能接收到消息 原因：没有绑定确定....

文章目录 kafka的下载解压kafka安装包kafka配置修改kafka启动kafka生产与消费的示例 参考文献 写在前面：kafka的使用需要....

介绍两种方法去实现这个案例 方式1： Hadoop中自带mapreduce程序，什么是mapreduce呢？在我的博客Hadoop一栏中有详细的讲解....

基于flink 1.13.2版本做的实践 本次主要实践flink on k8s native 的两种方式, 分别是sesion 和 application方式 第一步: k8s....

近日，两条新闻又一次让区块链成为了热议话题。其中之一是《财经》于微博公布的一则消息：华人首富易主，赵长鹏凭借900亿美....

ZAB协议是Paxos一致性协议的一个精简版 有关于Paxos的文章可以参考 Zookeeper全解析—Paxos作为灵魂 在一切开始之前先要了解....

通用组件：对系统常用组件的封装，如：常用异常状态码、URL权限、Service/Dao/VO封装、Mybatis/Spring封装、分页、对象存储....

Elasticsearch(ES)             （1） 下载、安装+kibana 下载                  （2） 本机多节点启动+El....

目录 1.背景 2.环境 3.应用 1）pom.xml 2）application.yml 3）main方法 4）Entity 5）ServiceImpl 6）controller 4.遇到的....

本篇为第三篇，剩余请移步主页查看 本篇需要eclipse 三．Etl数据清洗 （1）在eclipse连接Hadoop，通过xshell进行连接，并进....

一步完成在Mac机器上部署、运行和停止ZooKeeper 文章目录 介绍前提下载与安装默认安装路径启动服务端连接zookeeper停止zk ....

有关HDFS写流程的系列文章： 【精】彻底吃透HDFS写流程（1）–BlockConstructionStage 【精】彻底吃透HDFS写流程（2）-- Nam....

MySQL大数据导入导出指南 通过MySQL官方提供的工具将老表的数据转到新表，由于数据量较大3000多万，关键词SELECT INTO OUTFI....

package hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hado

文章目录 前言代码实现 前言 我们都知道 kafka 可以根据制定的分区和偏移量来消费。但是最近碰到一个需求，需要把之前一周....

区块链是什么意思？区块链的概念及特点 区块链是什么意思？多领域应用区块链的特点1、 异常安全2、不可篡改性3、可访问4、无....

1、HDFS的写数据流程 1.1、Hadoop-client hadoop的FileSystem类中,遍历文件目录的三种方法(源码和区别)，通过FileSystem对象....