大数据知识_大数据学习笔记

基于ES 7.7, 官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.7/indices.html#indices 上半篇: htt....

大数据学习二十天     DataX-Web         DataX Web是在DataX之上开发的分布式数据同步工具，提供简单....

1. 拉取镜像 docker pull elasticsearch:7.5.1 2. 创建文件挂载目录 mkdir /root/ES/config/ mkdir /root/ES/data/ chmod 77....

一、SparkSQL 统一API写出DataFrame数据 df.write.mode().format().option(K, V).save(PATH)# mode, 传入模式字符串可选：ap....

科技进步与数字化的发展促成了所谓数字经济的形成，不过对这个术语有许多种解释，根据其中一种解释的说法，数字化被理解为一....

在Kibaba导入文件到ES 7.7时, 支持以下三种格式: Delimited text files, such as CSV and TSVNewline-delimited JSONLog fi....

文章中测试的test表中有一百万数据量，字段超过50个，整体思路就是查询单字段会比整表字段要快，再根据筛选的字段查询数据 ....

sqoop安装非常简单，先把安装包放到 opt/install  中，然后解压到opt/soft中 [root@gree139 ~]# tar -zxf /opt/install/sqo....

1. 拉取镜像 docker pull kibana:7.5.1 2. 创建挂载目录文件 mkdir -p /data/elk7/kibana/config/ vi /data/elk7/kibana/c....

环境准备: 关闭防火墙与selinux 一、集群部署 1、安装（每个节点都安装） curl -o /etc/yum.repos.d/scylla.repo -L http://....

目录 1.1 RabbitMQ 1.1.1 springBoot与消息1.1.2 概述1.1.3 RabbitMQ简介2.1 原理机制 2.1.1 RabbitMQ运行机制2.1.....

新建hadoop用户 在安装zookeeper之前，我们先新建一个用户hadoop，之后安装各种组件就安装在hadoop用户下 useradd hadooppas....

目录 一、RocketMQ数据存储原理 二、集群原理 同步刷盘和异步刷盘 同步复制和异步复制 集群原理 主从broker如何保证消息消....

文章目录 目的与要求数据格式数据读取与清洗聚合K-Means操作数据的再次清洗和拼接数据的输出打印完整代码最终结果 目的与要....

数据格式 calls.txt 呼叫者手机号,接受者手机号,开始时间戳,结束时间戳,呼叫者地址省份编码,接受者地址省份编码 18620192711....

MapReduce概述 1、MapReduce 定义2、MapReduce优缺点2.1、优点2.2、缺点 3、MapReduce核心思想3.1、MapReduce流程图3.2、M....

如今，越来越多的平台企业开始有意识地引进分账系统来帮助自己提升经营管理效率和助力业务合规。但是没使用过分账系统的企业....

文章目录 前言一、IK 分词器1.1 简介1.2 安装1.3 简单的参数说明 二、Kibana 使用 — 掌握 DSL 语句2.1 简介2.2 Kibana 下....

首先判断是否有jdk 安装使用zookeeper首先需要装 jdk版本 一般先将linux自带的jdk卸载 之后再进行重新安装 显示 java -vsers....

Hive on Spark配置 Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但....