大数据系统知识_大数据系统学习笔记

什么是 ZooKeeper ZooKeeper 是一个高性能、集中化、分布式应用程序协调服务，是 Hadoop 和 Hbase 的重要组件，主要是用来解....

基础 RoutingKey、BindingKey RoutingKey是生产者发消息给消费者的时候指定的，BindingKey是交换器和队列绑定时设置的，两者....

1.目的 PyCharm通过插件database连接带Kerberos的hive 2.异常 我windows已经配置好kerberos,可以kinit通,其其他工具以及可以....

宽窄依赖 RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个....

Hive Hive的基本介绍 【概念】 Hive是构建在Hadoop之上的数据仓库平台Hive是一个SQL解析引擎,它将SQL语句转译成MapReduce作....

目录 背景与目的生产者与消费者直接通信的问题：目的 Kafka的作用Kafka的特点Kafka VS FlumeKafka的基本架构ProducerBroker....

1.更改conf下application.properties文件，注意nacos集群端口之间要2个端数以上，不要8848，8849，8850等一系列。 2.配置cl....

交互图 如上图所示，可以简单的把RockerMq中各组件理解()中的角色。 概念 rokcetMq主要可分为四大角色....

信用产业链是指信用从抽象的资本到具体产品到资本价值实现的全过程。信用产业链描述了不同信用活动层次及相互关联的内容与程....

1、org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE spark 建表或者使....

今天小编就来和大家分享一些成功店铺的模型分享给大家，当然运营过程之中的细节是需要自己重复磨炼的。 一、选款定位模型 ....

概述 Spark在SQL查询方面的性能优化主要分为四个方向七个方面 开发交互方向 新的Explain格式 所有join支持hints动态优化 自....

随着智能网联汽车技术和产品逐步商用，信息安全技术越发受到重视，智能网联汽车存在受到远程攻击或控制的风险，已成为智能网....

目录 关系型数据收集背景与目的Sqoop设计动机可以完成的任务特点 CDC & Canal & Otter & SETL模型 非关系型数据收集非关....

数仓分层b-o-s-i-a b层为源数据层 调度平台shell脚本里面配置 场景： 老表分区数据需要保留，但是需要把分区数据添加到另外....

前言 因为目前个人涉及到项目大量使用过消息队列，解耦削峰异步的思想，完美解决了实际的处理问题让人大呼真香! 为了更好的....

curl -X PUT 'http://127.0.0.1:9200/news_info/news_info/_mapping/' -H 'Content-Type:application/json&....

1. 什么是elasticsearch？ Elasticsearch (以下简称es)是一个分布式、可扩展、实时、RESTful 风格的搜索与数据分析引擎，它....

背景 2021年11月，阿里向Apache官方报告了Apache Log4j2远程代码执行漏洞，某些功能存在递归解析功能，攻击者可直接构造恶意....

RabbitMQ 进入exchanges报错 docker安装的rabbit的解决方法 docker安装的rabbit的解决方法 1.进入容器 docker exec -it xx....