大数据知识_大数据学习笔记

这里写目录标题 一、Zookeeper源码为什么要看源码：看源码方法：从源码启动zookeeper从源码启动zookeeper集群(参考视频讲解)....

创建 Maven 项目 增加 Scala 插件 Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala ，咱们....

val dataStream = inputStream .map(data => { val arr = data.split(",") SensorReading(arr(0), arr(1).toLong, arr(2).to....

1、技术一面（电话） Q1：厦门数据调度的项目 Q2：爬虫是如何进行的 Q3：如何定义高效、准确、低成本 Q4：介绍OOM、内存泄露....

大数据集群搭建（2） 克隆虚拟机： 单击右键a1，选择管理，选择克隆 等待克隆 同样操作克隆a3 修改a2的ip和主机名： ....

这里写目录标题 1. 什么是Zookeeper？2. Zookeeper 核心概念2.1. 文件系统数据结构2.2. 监听通知机制**2.3. Zookeeper 经典....

zookeeper实现开机自启动 常用方式： 1、首先安装好jdk 2、直接修改/etc/rc.d/rc.local文件 在/etc/rc.d/rc.local文件中需要....

一、安装镜像 由于kafka依赖于zookeeper，需要先安装zookeeper的容器 1、搜索zookeeper和kafka的镜像 docker search ....

1、技术一面 Q1：自我介绍 Q2：OOM 查询方法取消Cache会不会对下游有影响用的内存Cache还是KV Cache Q3：写题目 1+2+3+…+n....

RabbitMQ的下载与安装 由于RabbitMQ是使用Erlang语言编写的，我们还必须安装Erlang 下载地址： Rabbitmq官网地址：https://w....

继续完善之前的项目——Sqoop数据导出+Superset数据可视化 进度 之前已经安装完sqoop、创建完表，搭建好数据仓库。 在分析完....

目录 FLINK安装与部署解压缩配置文件分发节点启动FLINK停止FLINK FLINK安装与部署 解压缩 tar -zxvf flink-*.tgzmv flink /....

1、ik分词器是作为elasticsearch的插件进行使用，可以在ik的配置文件夹下（config）新建一个dic文件（自己要作为一个分词的....

延时消息推送的应用场景想必大家都不陌生： 自动收货订单10分钟后自动取消 废话不多说，直接上代码。在 RabbitMQ 3.6.x 开始....

目录 虚拟机配置配置静态ip配置HOST映射生成密钥对将子节点的公钥拷贝到主节点 JDK的安装解压缩配置环境变量 HADOOP的安....

大家好，我是小编沐子。 沐子，我连日加班好多天，把多年的面试题和架构师的视频汇总在一起，终于整理好了《面试题、架构视....

1、流式计算框架对 2、API对比 3、数据源对比 4、运行环境对比 5、最大区别 在执行引擎这一层， 流处理系统与批处理系....

Kafka-多线程代码赏析 在2020年8月 13号 IGOR BUZATOVIĆ 这个人在 https://www.confluent.io/blog/kafka-consumer-multi-th....

前言 1.安装环境依赖 运行所需 Java、 scala 环境。 1.1 安装scala 先创建需要下载scala的目录 mkdir scala 下载scala wget ....

第五章 数据采集        数据采集解决的主要问题是与各类外部数据源进行对接（集成），然后抽取数据并将其传输给后续组....