大数据知识_大数据学习笔记

一、安装elasticsearch 1.到官网下载安装包https://www.elastic.co/，这里下载的是7.4版本 2.创建一个安装目录 mkdir /usr....

概述 MapReduce的shuffle过程分别发生在Map端与Reduce端。 Map端 MapTask首先对每个被map()函数处理的键值对进行分区（默认....

DAP数据分析平台是公司的核心产品之一，主要是满足在企业进行数据分析的过程中，进行数据集中化管控、决策分析等需要。通过D....

文章目录 前言一、map二、mapPartition三、mapPartitionsWithIndex四、flatMap五、glom六、mapValues七、filter八、keyBy九....

一、Zookeeper入门 1.1 概述 ​ Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 ​ Zookeeper从设....

一、角度——人货场模型 以“生鲜电商复购率低”的问题展开分析 （一）从人货场三个角度归纳关键因素 1、货物属性 购买频率....

Flume——Hadoop——VM VM环境准备安装JDK安装HadoopHadoop运行模式 本地模式伪分布式完全分布式集群启动 组件逐一启动....

数据分析的重要性相信大家都知道，但数据分析到底要怎么做呢？很多人错误地认为数据分析就是运用各种数据统计方法，对数据进....

利用TTL结合死信交换机，我们实现了消息发出后，消费者延迟收到消息的效果。这种消息模式就称为延迟队列（Delay Queue）模式....

原创 理哥 数据治理体系  一、前言 当前企业,基本上存有海量数据，目前最大的问题是质量较差，导致数据无法应用，所以一....

文|螳螂观察 作者|易不二 不管是出差还是旅游，如果有这样两种酒店，你会怎么选？ 一家要前台支付、预交押金、装修风格虽然....

研究一下消息队列，现在来简单搭建一下。 1. Docker搭建RabbitMQ 1.1 查询并下载RabbitMQ镜像 docker search rabbitmq // ....

使用hbase自带zookeeper，hbase基于本机Hadoop，单机配置（单节点） hadoop 2.7.1hbase 1.2.7linux hadoop安装 export JAVA_....

点击上方蓝字关注我们 基于法律裁判文书的法律判决预测 张虎1, 潘邦泽1, 谭红叶1, 李茹1,2 1 山西大学计算机与....

近段时间来，在科技巨头、商业领袖、顶级风投的三重加持下，元宇宙概念持续被引爆，其热度甚至超越了行业范畴跃升至全球范围....

国际会计准则委员会 (IASB) 和其他会计准则制定者制定了有关银行应如何为财务报表报告目的确认和准备信用损失的原则性标准。....

Spark 的 RPC 概述         Spark 是一个 通用的分布式计算系统，既然是分布式的，必然存在很多节点之间的通信，那....

目录 （1）如何正确看待事实表（2）企业中事实表的设计原则（3）事物事实表的设计流程（4）深入事物事实表的设计（5）怎么理....

文章目录 前文hive3.1.2 安装及其配置（本地模式和远程模式）1、下载hive包2、修改其环境变量3、MySQL配置Centos7 MySQL安装....

//同步到es 中 public void save() throws IOException { //在mapper中查询到数据 List findall = this.myMapper.finda....