大数据知识_大数据学习笔记

Zookeeper面试题 选举机制第一次启动选举规则：第二次启动选举规则： 生产集群安装多少 zk 合适常用命令Paxos算法讲一讲什....

IDEA 运行spark程序： package sparkcoreimport org.apache.spark.{SparkConf, SparkContext}object TextFileTest { def ma....

一个cdh5.14.4的hadoop数仓集群，使用hive以及hive on spark做批处理。随着job数量以及数据量增加，每天晚上满负荷跑，HDFS ....

1、安装Web管理界面 安装之前先把RabbitMQ的服务停掉 先查看程序状态： 当前服务如果是运行状态则需要停掉服务： systemctl....

文章大纲 简介 -- 什么是 spark Estimator PipeLine：工作流。 Transformer：转换器 Transform....

过去两年间，非同质化通证NFT成为一股席卷世界的潮流，不仅以太坊等链上原生NFT如火如荼地迭代，阿里巴巴、腾讯、Facebook等....

近年来，区块链一直是最受关注的新技术之一。当我们第一次听说它时，它有解决数百个问题的潜力，但没有任何可用的实际应用程....

对于网赚行业来说京东撸货已经是一个持续运行几年的老项目了，但为什么还是一直在稳定运行呢？他的收益到底怎么样？还适不适....

drop table if exists ld.boi_asset_units;create table if not exists ld.boi_asset_units( asset_unit_code

对很多公司来说，数据整理不是难事，难就难在业务数据如何解读？如何呈现才能说明问题？从中能发现什么业务问题？有没有改善....

一、面临的挑战 从航空航天到建筑设备，从制药工业到微电子工业，几乎制造业的每个部分都在使用制造技术，如机床、切割工具....

一：与MR对接 1：官方案例         1.1：读取HBASE数据 自己在Hadoop102，103，104三台机器上输入 export HADOOP_CLASSP....

读取本地CSV文件流处理，按表处理 pom org.apache.flink flink-java 1.10.1 org.apache.flink flink-stre....

1 通过数据源创建DF 原始数据： {"name":"Tom","age":18},{"name":"Alice","age":17} 步骤： //读取目录文件scala> val df =....

为什么睡不着、不睡觉？ 刚过去的双十一零点预售，有不少人凌晨或是整夜都在疯狂买买买， 有不少人因为失眠而数羊，数几百只....

spark Yarn 模式Yarn 模式概述Yarn 模式配置 日志服务几种运行模式的对比EXecuter&Core&并行度理解 RDDRDD 特点弹性分区只....

近日，《解放军报》文章《揭开“元宇宙”面纱》提到，随着扩展现实、数字孪生、3D渲染、云计算、人工智能、高速网络、区块链....

服务器 准备三台centos7服务器，假设IP分别为host_0、host_1、host_2 zk安装 1、新建目录用来安装zookeeper  mkdir /home/l....

RDD，DataFrame与DataSet的相互转换 DataFrame相当于在RDD的基础上添加了结构，DataSet相当于在DataFrame的基础上添加了类型....

目录 定义内涵未来参考文献 定义 零售是把人和货连接在一起的“场”。 零售的历史：“物物交换”的时代，为集市；随着商业地....