大数据知识_大数据学习笔记

文章目录 文档查询聚合查询countavg 映射Java开发ESdependenciesexample创建索引查询索引删除索引插入数据修改数据查询删除....

kafka集群搭建-宿主机版本搭建 文章目录 kafka集群搭建-宿主机版本搭建前言一、kafka是什么？二、集群1.集群2.负载均衡3.扩....

1、hdfs缺点 (1)不适合低延时数据访问(2)无法高效存储大量小文件①大量小文件，会占用大量NN的内存来存储目录和块信息②寻址....

1.先安装ssh服务 2.可以打开xshell进行配置 3.配置主机名 进入vi /etc/hosts配置主机名，在行尾加入ip+主机名，例如 192.....

1. kafka介绍 kafka是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用ka....

Flume 对接 Kafka 1. 配置 flume # definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = exec....

filebeat-elasticsearch(docker)+kibana 7.6.2(docker)日志采集并展现（centos7） 一、docker安装elasticsearch+kibana 1）....

说起全文搜索，我将分为两个部分来讲下，一个是索引的创建，然后才是搜索（查询）。 一、创建索引 针对不同的字段类型，索引....

参考：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-5-1 Kibana 的安装（Windows版本）_一只洒鹿-CS....

在学习gRPC课程的时候谈到了，负载均衡，大概分为两个部分：服务端和客户端 接触最多的是Web程序大多用的服务端方式，大数据....

Consumer API Consumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。 由于....

C#写的可视化监控表索引碎片工具 查看索引碎片的sql语句 DBCC SHOWCONTIG(g_sn_status) 主要看索引的碎片比 Scan Density [B....

BI给企业带来的价值（一）整合信息孤岛 整体分析问题BI可以将企业信息化的数据孤岛整合起来，提供一个全局的视图，让决策者....

Flink中的时间(Time)语义:设置Event Time:事件创建的时间Infestion Time:数据进入Flink的时间Processing Time:执行操作算子....

推荐阅读 https://0x0fff.com/spark-misconceptions/ spark的作者Matei Zaharia在投稿其论文的时候，曾被reviewer批评....

【时间】2021.10.13 【题目】【Hadoop入门（5）】源码解析 一、引言 本文是课程 尚硅谷大数据Hadoop 3.x 的源码解析部分....

卷首语 DCMM是首个数据管理能力评估的国标体系。 DCMM发展背景 大数据时代，数据如同石油一样成为战略资产！那么如何保障输....

旅游集市的数仓建设分层项目 判断是否是游客：根据用户在城市逗留的时间（进入和出去时间）和距离（经纬度，走的近可能是回....

关于安装apache-zookeeper-3.5.9.tar.gz时报Error: Could not find or load main class org.apache.zookeeper.server.quorum....

** mysql转hive转换脚本： ** SET SESSION group_concat_max_len = 102400;SELECT a.TABLE_NAME , b.TABLE_COMMENT , ....