大数据知识_大数据学习笔记

1.Maxwell简介 Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog，....

在linux系统中搭建Hadoop分布式平台 首先解决如果liunx网络出现无法连接的情况，在VMwvare主界面点击“编辑”，然后选择“虚....

Zookeeper 1 新建 Zookeeper 目录，data 及log 目录 解释：conf 用于存放配置文件 Data 用于存放内存数据库的快照 Datalog ....

Hive的parse_url函数使用 --parse_url: 对URL进行解析返回指定部分的信息。parse_url(url, partToExtract[, key]) - extrac....

测试环境： 1.flink版本：1.13.0 2.Oracle版本：12c 3.Oracle CDC：2.1.0 核心包 com.ververica f....

Kafka基础知识 文章目录 Kafka基础知识1、Kafka是什么？2、partition的数据文件（offffset，MessageSize，data）3、数据文....

工业互联网快速崛起 在“工程机械之都”湖南•长沙 如何高效走向制造业转型升级 三一泵机引入超融合时序数据库 MatrixDB 更....

环境： HDP 3.1 ambari 2.7.4 hive 3.1.0 spark 2.3.0 1. 添加hive-site.xml 到spark下 cp /usr/hdp/3.1.4.0-315/hive/conf/....

目录 注意： 效果： HTML： JavaScript： show.js: option02.js: JSON： json02: json4: json5: json7: json8: json12: json....

RDD编程（2） 一、RDD操作（转换操作filter,map,flatMap） （1） filter(func) （2） map(func) 分拆后返回的数据类型....

我在使用phoenix插入数据是，使用了upsert ... on duplicate ...结构，但是在运行的时候报错，现在将错误情况同步出来。  ....

1.可以看到上面就是分区的案例,需求. 2.可以看到我们要实现上面的需求,我们把136开头的放到分区0,文件1,137开头的放到分区1....

文章目录 背景实体编写KafkaSender，用于操作kafka编写netty服务端netty 服务启动类：NettyServerHandler处理类 Controller....

Dlink介绍 一、Dlink ？一款交互式FlinkSQL开发平台1.背景2.简介3.原理4.功能5.优势5.1 支持 Local、Standalone、Yarn-Sessi....

maven导入jar包              cloudera  https://repository.cloudera.com/artifactory/cloudera-repos/   ....

前言 参考的es的文档 当前版本7.15 Mapping | Elasticsearch Guide [7.15] | Elastic         可能刚接触es的小白和我一....

哈工大《大数据计算基础》期末考试2021 去年学长的链接2020年大数据基础 判断 10道，基本都比较简单 比如： 大数据就是1T以....

目录 1. 前置条件 2. 安装包下载  3. 解压缩及配置 3.1 节点1配置 3.1.1 解压 3.1.2 配置          3.2 节点2配置 ....

一：背景      采用flink sql 入库elasticsearch出现入库失败，数据没入进去 二：错误 Caused by: org.apache.flink.ru....

ELK安装与启动 ElasticSearch安装 使用Docker进行安装 执行以下命令： docker run --name elasticsearch -p 9200:9200 -p 93....