大数据知识_大数据学习笔记

摘要 Dubbo Provider 在启动时会将自身的服务信息整理成 URL 注册到注册中心，Dubbo Consumer 在启动时会向注册中心订阅感兴....

本文主要记录了学习技术文档写作时需要注意的知识点。 内容书写 常见错误 常见错别字 “账号”误写为“帐号”“登录”误写....

00.如何安装 从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云 再记录一个安装配置PyODPS的方法 读写MaxCompu....

本文翻译自：Understanding Database Sharding 文章目录 1 什么是Sharding：2 Sharding的优点3 Sharding的缺点4 常见的Shar....

Kafka 中消息是以 topic 进行分类的，生产者生产消息、消费者消费消息，都是面向 topic 的。  topic 是逻辑上的概念，而 pa....

点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接，进入高质量学习交流群 今日更新| 950个转型案例分享-大数据交流....

物流行业发展到今天，已经十分成熟。行业中，大大小小的物流企业不下百家，面对如此多的物流企业，我们该如何评判一家物流企....

k8s部署EFK概念 Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 ....

RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型 value 类 1、map 2、mapPartition....

2、Impala的特点 impalak快的原因：1、2、3、6 1、基于内存进行计算，能够对PB级数据进行交互式实时查询、分析 2、无需转....

记录pyspark的MLlib库学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解....

说明 此处整理了下使用到的UDF函数,还有很多后面陆陆续续会更新上来。 代码写的不完善,后面我也会继续跟进。 代码部分已经上....

1.这个shuffle机制,是在map方法和reduce方法之间的一种机制 shuffle是在map方法之后,reduce方法之前,用来处理数据的过程. ....

大数据平台数据来源于企业内部、外部各个源系统，包括企业内部的前端人工输入、智能设备采集、app端埋点日志、外部数据采购....

2021大厂Java面试真题（三） 2021 【京东】面试真题： 1、哪些情况下的对象会被垃圾回收机制处理掉？ 利用可达性分析算法，....

cache_fetch(storage_id, attribute_name, result_pvar) 此函数用于从类内存缓存的存储系统中获取属性值。属性名称可能包含....

Window 环境连接虚拟机中Hadoop及Spark集群 1.Windows安装Hadoop1.1 配置环境变量1.2 下载相似版本的文件 2. idea 进行远程....

一、大数据两大核心技术： 分布式存储：HDFS、HBase、NoSQL、NewSQL 分布式处理：MapReduce 二、大数据计算模式： 三、代表....

架构图 所需组件 数据源：Mysql、MongoDB、Log日志采集工具：Canal、Mongoshake、FileBeat、Flume消息队列：Kafka数据....

教育装备的革新意味着教学方式将会发生巨大的改变，现阶段正处于智慧教育3.0时代的开端，各类的教学方式层出不穷，松鼠Ai致....