大数据知识_大数据学习笔记

1.在usr目录下创建Hadoop目录，将安装包导入目录中并解压文件   2.进入vim /etc/profile文件并编辑配置文件 #hadoopexport ....

原文地址：Go面试看这里了~（二十三） 1、有异常类型么？ Go没有异常类型，只有错误类型（Error），函数要想返回错误，通常....

前言 近年来，Spring Boot 是整个Java社区中最有影响力的项目之一，它的设计初衷是解决Spring各版本配置工作过于繁重，目前....

hive中现有的数据（分区字段是时间event_time） MySQL库中增量抽取的数据 （部分展示）    创建Sparksession对象 ....

hadoop是一个开源分布式计算平台，以hadoop分布式文件系统HDFS和大规模数据分布式编程模型MapReduce为核心。它为用户提供了....

package cn.kgc.graphxdemoimport org.apache.spark.SparkContextimport org.apache.spark.graphx.{Edge, EdgeTriplet, Graph, G

目录 什么是CAP理论 什么是BASE理论 分布式ID是什么？有哪些解决方案？ 什么是RPC 分布式锁的使用场景是什么？有哪些实现方....

鸿鹄云架构【系统管理平台】是一个大型企业、分布式、微服务、云架构的JavaEE体系快速研发平台，基于模块化、微服务化、原子....

文章目录 1.聚合函数 GroupBy、Distinct、KeyBy 等函数时 出现数据热点该如何解决2.Flink 任务延迟高如何解决3.Flink 是如何....

ClickHouse多实例部署 文章借鉴http://fuxkdb.com/2020/05/02/2020-05-02-ClickHouse多实例部署/ 感谢大佬！ 生产环境并不建....

目录 1 编程前总分析 1.1 数据源 1.2 需要掌握的知识 1.2.1 Hadoop对比java的数据类型 1.2.2 MapReduce流程简介  1.3.3 M....

我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、幕后大佬社区创始人。拥有多年一....

首先肯定会有人问为什么文章标题会写上阿里内部资料呢？ 下面一张图就给你做出了解释 看完这个就不用我多说了吧，虽然我....

一、创建RDD 两种方式： 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD，该方法把....

数字化车间是数字化、网络化技术在生产车间的综合应用，它将数控设备与工艺设计系统、生产组织系统和其他管理系统的信息进行....

大家好，我是一碗周，一个不想被喝(内卷)的前端。如果写的文章有幸可以得到你的青睐，万分有幸~ 写在前面 随着前端项目的不....

只说结论！ 如果我们使用原始apache-kafka 依赖的API来消费数据： 如果enable.auto.commit为true，则表示自动提交，但不会在....

摘要：memoryStore主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 本文分享自华为云社区《spark到底....

我们究竟该如何看待元宇宙？元宇宙为什么会火？它到底有没有价值？它真的是“割韭菜”吗？ 今天这篇文章，小枣君想说说自己....

最近也快到年底了，老李就整理了15种常用/常见的数据分析方法和模型，并将其分为两大类，方便大家理解记忆，话不多话，直接....