大数据知识_大数据学习笔记

环境准备: 1.安装flume 下载地址 http://archive.apache.org/dist/flume/ 上传到linux并解压jar包 tar -zxf /opt/software/....

创建虚拟机： 点开VMware，在主页中点击创建新的虚拟机；在向导中选择“自定义高级”，然后点击“下一步”；在选择虚拟机兼....

文章目录 ElasticSearch——ES在 Linux 环境下的单点部署1.1、ES下载1.2、解压安装1.3、创建用户1.4、修改配置文件1.5、修改....

Flume的简介 大数据的处理流程 1.数据采集2数据存储3.数据清洗4.数据分析5.数据展示 Flume的简介 Fume是一种分布式的，可....

Lazada成立于2012年，是阿里巴巴集团的电商平台，目前拥有印尼、马来、菲律宾、新加坡、泰国和越南这六个市场。 Shopee成立....

包含spark远程调试总结demo分享 用scala实现spark读取并处理数据然后提交到mongodb案例 linux和windows环境：hadoop-2.7.5、....

ELK 一、ELK介绍二、 Elasticsearch的安装部署1、依赖于java,所以首先安装java环境-jdk2、 Elasticsearch的安装3、Elasticse....

前言：我们搭建了elasticsearch，在没有设置访问用户名和密码的情况下，任何人任何网络都是可以通过 ip+port 进行访问 elast....

Kafka 设计思路 文章目录 Kafka 设计思路 前言一、文件系统的持久化与数据传输效率二、生产者与消费者读取消息推送模式读....

数据准备 在ftp://ftp.ncdc.noaa.gov/pub/data/平台下载gsod目录下的2016和2017年的数据，然后放在linux的任何目录下 1.使用....

Flume的配置说明 定义组件名称 要定义单个代理中的流，您需要通过通道链接源和接收器。您需要列出给定代理的源，接收器和通....

文章目录 Config分布式配置中心搭建案例服务端： 客户端分布式配置动态刷新问题： 消息总线SpringCloud BusBus动态刷新....

11月12日，天翼云在2021国际数字科技展暨天翼智能生态博览会天翼云论坛上，发布并解读了全新升级的天翼云4.0分布式云，同时....

ElasticSearch搜索引擎 Elasticsearch安装配置配置文件head插件安装ES入门IK分词器常用映射类型索引管理 Elasticsearch 安....

大数据之 Kafka 监 控 完整使用 一、Kafka Eagle1.修改kafka 启动命令2.上传压缩包3.解压到本地4.进入刚才解压的目录5.将 ka....

在$HADOOP_HOME下有个jar包，叫 hadoop-examples-1.1.2.jar，见图1.1，这里面含有框架提供的很多例子，我们现在学习一下如何....

目录 深度学习阶段划分 第一阶段  第二阶段 三阶段 第四阶段 菜鸟筑基：本阶段的人才以大数据基础理论的学习为主，尚不能....

问题描述 原因 HBase启动时默认会把hadoop的jar包拿过来，下面的参数默认是false，也就是包含hadoop lib文件夹下的jar包。....

简单说就是一个生产者者，多个消费者共同消费消息，比如有10个消息，就会平均分配给每一个消费者，一人5个消息。 经典的生产....

下载安装包 执行如下命令 wget https://archive.apache.org/dist/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip 或htt....