大数据知识_大数据学习笔记

原因 多次进行格式化导致各个节点之间的版本号不同，集群不能正常启动。 当在NameNode中使用了格式化 hdfs namenode -forma....

分布式数据处理spark 别人告诉我，总是要写点什么，那就写点什么吧。   入行已经很久了，开始总结，学习、工作以及为....

判定迟到时间：  watermark在算子之间的传播：  每个Operator上有对应的Event-time,这个其实是一个TimeService,这个Time....

python： numpy pandas matplotlib pytorch Tensorflow Mindspore 算法： CV类算法： 图片分类 目标检测 目标追踪 OCR GAN N....

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下....

单机版以及伪分布式版Hbase配置及常见问题解决办法 下载Hbase 笔者使用的Hbase版本是2.3.7，适用于hadoop-2.10.x以及hadoop-....

近年来，我国持续开展电信网络诈骗犯罪打击治理，已经取得了重要成效。随着区块链、人工智能等新兴技术的出现，诈骗分子又找....

一、概述 上一P简单的阅读了下KafkaProducer 的流程，这一P主要探索异步发送消息的业务罗技 Producer流程 1.调用代码： //to....

近日，北京优炫软件股份有限公司（简称“优炫软件”）与北京海天起点技术服务股份有限公司（简称“海天起点”）达成战略合作....

8:30~8:40 看题 8:40~9:40 推T1的性质，画了画2和3的图，然后四维的样子真的想象不出来…只能根据2和3的答案来往后推。然后....

项目场景： Spark中DataFrame的导包问题 问题描述： Exception in thread "main" java.lang.NoSuchMethodError: org.apach....

1.副本同步线程挂掉，出现副本缺失；重启broker服务，拉起同步线程； 2.Java NIO java.lang.OutOfMemoryError: Direct buffe....

安装 clickhouse 首先，访问官网 https://clickhouse.com/#quick-start 根据你主机的类型，下载clickhouse 我这里是centos8....

Apache Kyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供....

spark算子合集 在对rdd进行操作之前我们首先需要对rdd进行初步的了解rdd的五大特性 RDD 是 Resilient Distributed Dataset ....

Hadoop下hdfs开关安全模式、查看安全模式状态 1.查看模式状态 $ hdfs dfsadmin -safemode get 2.离开安全模式 $ hdfs dfsadm....

R语言ggplot2可视化使用ggplot2::ggsave函数和gridextra::marrangegrob函数将多个可视化结果保存在pdf文件中 目录

在linux上安装elasticsearch 一、上传安装包二、解压到指定目录三、修改配置内存配置访问配置 四、开放端口五、启动 一、上....

环境准备 ip主机名称192.168.43.204hadoop204192.168.43.205hadoop205192.168.43.206hadoop2063台机器都要提前安装好JDK 主....

一、Snowflake生成ID的模式 snowflake算法对于ID的位数是上图这样分配的： 1位的符号位+41位时间戳+10位workID+12位序列号 ....