大数据知识_大数据学习笔记

找到kylin的bin目录下的find-hbase-dependency.sh 将hbase-common[a-z0-9A-Z.-]*jar替换成自己的hbase-commomjar包的名字。

–jars： 提供系统中没有的包 ​ 运行时将包分发到worker指定目录例如/var/run/spark/work 不会加载到executor的classPath....

1.FileInputFormat切片源码 切片源码解析 程序先找到你数据存储的目录。开始遍历处理(规划切片)录下的每个文件遍历第一个文....

1 ElasticSearch 安装 1.1 ElasticSearch安装 1、上传ElasticSearch安装包 alt+p # 打开sftp窗口# 上传es安装包put e:/softw....

【软件工程实践】Hive研究-Blog7 2021SC@SDUSC 研究内容介绍 本人负责的是负责的是将查询块QB转换成逻辑查询计划（OP Tree）....

原因由于使用的jdk版本过高(本人使用的为jdk11版本）,java 11以后 移除了javax.activation**。 根据原因有以下两个解决方法....

云计算市场方兴未艾，企业的上云进程加快，传统IT资源管理方式却在拖慢企业数字化转型的步伐。近日，基于对客户和市场的充分....

一、数据准备 1.  客户端对象client创建核心配置文件：ElasticSearchConfig.class @Configuration@ConfigurationProperties....

Zookeeper 概述 ：是一个开源的分布式协调服务框架，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 同一时间....

firewall-config图形管理工具 firewalld防火墙配置管理工具的GUI（图形用户界面）版本，几乎可以实现所有以命令行来执行的操....

一、ElasticSearch 简介 1.什么是 ElasticSearch？ Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎....

本次推送将介绍DataBuff中支持的大数据组件 ——Kafka。 Kafka 是一种分布式的，基于发布 / 订阅的消息系统，与其他消息传递....

kafka demo最简单的实现 包的结构pom.xml相关的依赖：Producer类：Consumer类运行结果 包的结构 pom.xml相关的依赖： ....

项目依赖环境搭建 1.Redis （1）Redis环境搭建 （2）Redis跟SpringBoot整合 （3）RedisPlus 2.消息队列 ActivieMO RabbitMQ ....

1.订单支付总体流程  2.下单流程及问题 下单确认失败，在catch中发送失败消息，库存，优惠券消费失败消息，注意采取广播....

文章目录 Hash 分区Range 分区 Spark 目前支持 Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分....

一、准备 将jdk和hadoop的压缩包下载好了以后，用pscp上传到/home/opt目录下面 二、JDK安装 我之前下载过JDK（在这一篇博文....

一、搭建redis测试环境（客户端采用jedis） 1、创建maven工程 2、导入jedis坐标 3、测开启虚拟机 4、测试代码 二、客户端....

##配置实验环境##共享资源 -------------——虚拟机-------------#dnf install httpd -y ----下载httpd服务 可共享westos.....