大数据知识_大数据学习笔记

集中化日志平台Elastic Stack 一、Elastic Stack概念 1 Elastic Stack介绍 日志在项目中起到了性能监控、异常定位、数据分析....

Hadoop HA 高可用之旅 概述HDFS-HA 集群搭建HDFS-HA 核心问题 HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群官方地址....

return appointmentBook.getAppointmentsForToday(); } @RequestMapping(value="/{day}", method = RequestMethod.GET) publ....

val spark = SparkSession.builder() .master("local[*]") .appName("yy") .getOrCreate(....

聊聊市场反映吧 2021-11-19 股市理性投资 价值投资看人性 市场每时每刻都在发生变化，但是正是因为这样的发生，导致很多....

1.按天统计 #!/bin/shbrokers="ip地址"topic="topic名称"y1=`date -d yesterday +%Y-%m-%d`y2=`date +%Y-%m-%d`yesterday1=`....

package com.hihonor.appsearch.config; import com.hihonor.appsearch.util.AesGcm128Util; import com.hihonor.appsearch.util

Elasticsearch-项目整合 Elasticsearch-Rest-Client 1. 通过 9300: TCP spring-data-elasticsearch:transport-api.jar; sp....

JDK mkdir /usr/java cd /usr/java rz 从windows上传jdk压缩包 到 /usr/java unzip jdk1.8___.zip 查看解压后jdk文件....

先提出一个问题，数仓hive任务的输入表为压缩格式的时候，MapReduce针对输入过程是如何处理的？ 提出两种猜想: 1、先解压缩....

2021SC@SDUSC

软件环境： ubuntu Server  20.04.3 LTSTDengine-server-2.2.2.0-Linux-x64.deb (7.4 M)  Docker 安装版 Node-RED version....

文|螳螂观察 作者|陈浩南 2017年，刘强东曾放言京东要花5年时间超过天猫，成为国内第一的B2C平台。尽管当时京东尚处于“战略....

前言 在前面的文章中，我们搭建了kong以及konga并能通过path路径访问不同的upsteam的target。那么如果想对某个路径进行限流....

Rancher On kibana 概述：一、下载kibana镜像二、创建挂载目录与映射配置文件2.1 创建配置文件2.2 映射配置文件2.3 配置启动....

序言 本Demo是基于SpringBoot 创建Hive 任务并提交到 MapReduce On Yarn 上进行计算. 那SpringBoot连接Hive的整体思路其实很....

ZooKeeper ：Nginx基于TCP协议代理ZooKeeper集群 在上一篇博客中博主介绍了如何搭建ZooKeeper集群： ZooKeeper ：搭建ZooKee....

hiveserver2 发生gc以后导致远程jdbc连接hive会连接超时，解决办法 在hive-env.sh中修改HS2Heapsize的大小，相当于设置-Xmx....

RDD逻辑代码执行 一，驱动程序二，Task相关类2.1 查看ResultTask类runTask(context: TaskContext)方法：2.2,反序列化后执行f....

hive 复杂数据解析 待解析数据字段与样例： 样例1：request:TmPromiseReParam [calcMode=A, queryType=0, srcCode=662AA02P,....