大数据知识_大数据学习笔记

ELK 为什么用到ELK         一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但....

1.split是MapReduce里的概念,是切片的概念,split是逻辑切片;而block是hdfs中切块的大小,block是物理切块。 2.split的大小在....

阻塞模型的问题关键**不在于是否使用多线程（包括线程池）处理并发请求，而在于accept()，read()的操作点都被阻塞了。**下面....

文章摘自《Apache Kylin 权威指南》 一、概述  Apache Kylin 是Hadoop大数据平台上的一个开源的联机分析处理（OLAP）引擎....

KeepAlived+ha-proxy+rabbitmq mirror 镜像队列，是保证 rabbitMQ 数据的高可靠性解决方案，主要就是实现数据的同步，一般....

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 El....

副本放置策略 生产上建议3个副本。 第一个副本： 假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁盘不太慢，C....

目录 实验内容 实验命令操作 实验源码  实验结果 实验报告 实验内容 熟悉在Linux使用Java编写Mapreduce程序，编写wordcount....

通过学习《Spark SQL 内核刨析》这本书，做的笔记。

文章目录 1、启动集群2、启动 kafka3、使用IDEA消费kafka数据 1、启动集群 启动zookeeper,hadoop,saprk# 1、三个节点/usr/z....

家庭理财资产配置主要目的是通过市场变化来调整不同的家庭理财投资产品，通过不同投资产品的搭配来提升收益率，用来抵御通胀....

什么是HBase 1、HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 2、逻辑上，HBase的数据模型同关系型数据库很....

关于农业种植灌溉，目前有漫灌、滴灌、喷灌等多种方式，其中使用占比较大的应该是漫灌，所需用水量极大，且多少会有一点恶化....

目录 1 Explain1.1 功能1.2 语法1.3 组成1.5 示例2：分组排序 2 MapReduce属性优化2.1 本地模式2.2 JVM重用2.3 并行执行 3....

2）工作机制详解        （0）Mr程序提交到客户端所在的节点。        （1）Yarnrunner向Resourcemanager申请一....

MySQL 到 ES 数据同步本质上是数据去规范化的一种。本节我们展开 “MySQL 到 ES 数据迁移同步” 的技术解决方案，通过比较他....

Kafka 简介 消息中间件，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分....

近年来，随着5G、云计算、物联网、人工智能、大数据等新一代信息技术的蓬勃发展，数字化、网络化、智能化的设施和解决方案与....

随着政策的不断深化以及双录系统在各行各业的普遍推广，双录业务应用生态向标准化、流程化转变，不断拓宽服务的广度和深度，....

据中商产业研究院预测，2021年中国智能照明行业市场规模将超350亿元。 其中，工业及商业领域是智能照明行业最大的应用领域....