大数据知识_大数据学习笔记

配置workers–集起集群 vim /opt/module/hadoop-3.1.3/etc/hadoop/workers hadoop102hadoop103hadoop104 同步 xsync workers....

前置设置: 数据均衡带宽优化 #参数说明：设置balance工具在运行中所能占用的带宽，需反复调试设置为合理值, 过大反而会造成....

1. Bike Flow Prediction with Multi-Graph Convolutional Networks 摘要： 管理自行车共享系统的一个基本问题是自行车流量....

华为云Hadoop与Spark集群环境搭建流程 Hadoop 2.7.1环境搭建1、购买华为云服务器2、修改服务器相关配置3、配置ssh免密登录4....

前言 本文讲述了SpringBoot整合Spring Data Elasticsearch的详细过程，主要使用了ElasticsearchRestTemplate、Elasticsearch....

项目背景 2020 年 1 月新型冠状病毒（以下简称新冠）肺炎在极短时间内就在全球范围内大规模流行，据美国约翰斯·霍普金斯....

过滤nested文档 6.1前 _type 不是以 "__"开头的。 6.1之后根据是否存在_primary_term属性 org.elasticsearch.index.query.....

zookeeper3.5.4源码环境搭建 1. 准备工作 渠道地址网盘zk源码下载地址 提取码：5555 注意：因为zookeeper是由ant来构建的....

折腾一下午，看网上说什么表的结构不一样，类型不匹配，有null的数据。对我来说都不是问题关键。 报错指令： sqoop export -....

1.核心组成 ELK是一个应用套件，由Elasticsearch、Logstach、Libana三部分组成，简称ELK；ELK可以将系统日志、网站日志、应....

LATERAL VIEW 使用总结 使用案例一（单个LATERAL VIEW）：split + explode + LATERAL VIEW使用案例二（多个LATERAL VIEW）：....

1，实践了flink cdc 的小伙伴肯定会遇到时间字段的问题，以mysql作为数据源为案例 我们读取的数据为Date类型 实际打印写....

一、hive [root@mihaoyu151 conf]# hivewhich: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin....

create table t (id int,p_date date,quantity int);insert into t values(1001,'2021-01-01',122);insert into t....

mr程序的执行过程  MapReduce程序的主体思想是分而治之。构建抽象模型：Map和Reduce MapReduce中定义了如下的Map和Reduce....

1.1.1为什么要用消息队列 1.1.2 流量消峰 订单系统最多能处理一万次订单，但在高峰期，如果有两万此订单系统就处理不了了，....

1 Kafka数据写入至ES方式 Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序) 根据以上情况，项目决定采....

黄金消息面与技术面解析 消息面：周五（11月12日）亚洲时段，现货黄金持稳于1861附近。隔日美元指数盘中一度高见95.19，创2....

概述 消息中间件的应用场景主要有：异步处理、应用解耦、流量削峰等。 生产者发送消息通过不同类型的交互机发送到不同的消息....

目录 消息中间件 介绍RabbitMQ 什么是消息队列 RabbitMQ单机部署 消息中间件 消息中间件也成为消息队列,指用高效可靠的消....