大数据知识_大数据学习笔记

集群配置注意事项：         NameNode和SecondaryNameNode不要安装在同一台服务器（2NN备份元数据的，如果放在一台....

文章目录 0. 思维脉络1. 起源1.1 什么是云计算？1.2 虚拟化前传 2. 网络1.1 Overlay 技术概述 3. 存储4.关键词合集 0.....

首先最重要的是本地电脑上有VM（我的电脑上centOS7）、Moba。我们先网络配置、连接MObaxterm。 1、在虚拟机上修改主机名 Hos....

大数据与互联网新零售 大数据时代，零售企业可以将每位顾客在全渠道，包括线下实体店、网上商店、社交网络的数据汇聚起来，....

1. broker启动时，从文件中加载consumeOffset记录 org.apache.rocketmq.broker.BrokerController#initialize public boole....

目录 一：分布式存储切分机制 二：怎么识别切分后哪几个block块是一起的 三：切分后存储位置 四：数据放到hdfs时会进行bloc....

在本地提交 spark-submit spark-sql 窗口的进入 ./spark-sql --master local[4] --jars /home/hadoop/software/mysql-conn....

文章目录 1、窗口的分类1.1、基于时间的窗口1.2、基于事件个数的窗口 2、时间语义3、WaterMark（水位线）3.1、WaterMark策....

目录 一、概述二、解题过程2.1 数据2.2 构建基线2.3 进阶思路一2.4 进阶思路二2.5 进阶思路三2.6 融合2.7 调优提分过程2.8 ....

1.切换到hadoop下面的etc（配置文件都在etc下面） cd /opt/module/hadoop-3.1.3/etc/hadoop/ 2.查看一下自己的要配置的文件 ....

Elasticsearch 安装和启动： 手动下载地址：https://www.elastic.co/cn/downloads/elasticsearch linux下命令行下载和启动：....

2021SC@SDUSC 1.生成物理执行计划：         经过了SqlParser. Analyzer. Optimizer 的处理，生成的逻辑执行计划无....

Step1Driver import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Int

Eureka 使用步骤 添加依赖—>pom.xml文件中 配置Eureka相关信息—>application.yml文件中 添加注解 —>服务的启动类上....

1.hadoop 主要是由两部分组成 HDFS和mapredue，其中HDFS负责存储，mapreduce负责处理计算 ----------------hdfs1.0---------....

一、基于Docker安装 erlang语言开发 # 1. 安装: 后台及前端页面管理 docker run -it --rm -d --name rabbitmq -p 5672:5672 ....

1.0 Zookeeper 教程 | 菜鸟教程 (runoob.com) 1.0 Zookeeper 教程2.0 Zookeeper 安装配置3.0 Zookeeper linux 服务端集群搭....

flume功能 flume做简单的数据过滤处理，收集日志，转发到HDFS、HBASE进行存储 or 连接kafka（消息队列、临时存储）连接到str....

当前外贸形式复杂严峻、不确定因素增多，皮革行业下行压力不断加大，在产业链总体经济形势复杂且变化迅速的情况下，传统企业....

1.spark与yarn的对比 ApplicationMAnage在spark中叫做driver AM向RM申请的是executor资源，分配executor之后由driver来管理 ....