大数据知识_大数据学习笔记

关于集合按指定长度拆解成多个集合的起因是因为一个阿里云的代码挑战赛的一道题目而有感的， 题目有一道提示是 在没有处理大....

一、引入依赖 本文使用的SpringBoot版本为2.5.4，elasticsearch版本为7.15.0 1. pom文件如下 4.0.0 org.spr....

项目场景： 提示：Hadoop部署到k8s，需要在各个节点之间共享，而且各个节点都需要能编辑文件内容，所以需要支持ReadWriteMan....

Hive中没有提供原生的获取星期几的方法，但是我们可以使用datediff方法来间接实现 int datediff(string enddate, string s....

文章目录 前言一、Spring 整合 RabbitMQ1.1 生产者1.1.1 pom.xml1.1.2 RabbitMQ配置信息1.1.3 整合配置文件1.1.4 测试类1.1.....

前言 整理了一下目前常用的hadoop组件，后续将会对这些组件的具体应用场景和使用细节进行展开分析。如果大家发现有更好的建....

目录 1 运行自带的MapReduce程序2 常见错误 1 运行自带的MapReduce程序 下面我们在Hadoop集群上运行一个MapReduce程序，以....

kafka启动异常 在bin文件下尝试用以下命令启动失败 [xxxx bin]# kafka-server-start.sh config/server.properties 报错如下 ....

这里写自定义目录标题 分布式基础理论应用架构及发展演变 分布式基础理论 Dubbo是用于分布式系统的框架所以我们要先了解什....

Hive中URL解析函数 1、parse_url函数 功能： parse_url函数是Hive中提供的最基本的url解析函数，可以根据指定的参数，从url....

Kafka的概述 1.1 消息队列的简介 1.1.1 为什么要有消息队列 1. 当服务器在一次性处理大量的数据时，可能会造成服务器瘫痪，....

1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutput....

文章目录[隐藏] 认识消息服务RabbitMQ简介RabbitMQ的安装 认识消息服务 在实际项目开发中，有时候需要与其他系统进行集....

消息队列的应用场景?各种消息队列产品的比较消息队列的优缺点如何保证消息队列的高可用如何保证消息不丢失如何保证消息不被....

from elasticsearch import Elasticsearch# 删除索引def delete_indices(es, my_index): if es.indices.exists(my_index)....

上午，沪深两市双双低开，开盘后展开震荡，随后两市双双走强翻红，在资源股的带领下，沪指一路上行表现抢眼，而深成指则一度....

一，hive查询表字段类型 二，pyspark中size=lambda x: len(x) 三，udf函数中最好写明type 四，pyspark dataframe.where....

1.api 当向服务发起请求时，在请求没有返回的时候，kill服务进程，接口可以正常执行完，但是客户端收不到服务端的相应。 2.r....

hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法....

1. Hive自定义函数 UDF  自定义一个java类  继承UDF类  约定俗成的重写evaluate方法  打包类所在项目成一个all-in-o....