大数据系统知识_大数据系统学习笔记

Flink-WordCount 下面主要是使用 DataSet 的方式去实现，在 Flink 1.14版本之后，DataSet 的方式被弃用，主要开始使用 DataS....

想用Apache Atlas进行元数据管理，atlas搭建完成且启动成功，但是在将hive元数据导入atlas时报如下错误，从网上找了解决方法....

composer 下载 es扩展 composer require elasticsearch/elasticsearch 在config配置host  定义一个创建索引的路由

之前在文章中已经介绍过如何进行配置，当时过于仓促也就没有介绍的很明确，这里复盘下重新给大家记录下一主多从的配置和复制....

黄金作为一种非常热门的理财产品，在如今算是有着相当成熟的发展，也吸引了大批的投资者前来分一杯羹，但是对于一些新手的投....

《隐私政策》及《用户服务协议》 生效日期：2021年3月10日 提示条款 大石桥市多禾网络科技有限公司（以下可统称为“我们”或....

一、分区 1、rebalance轮询分区 package cn._51doit.flink.day03;import org.apache.flink.api.common.functions.RichMapFun....

在进行大数据研究的时候，对于一些比较大的数据文件 （例如 500 M），MATLAB 会推荐用 v7.3 的格式存储，这种格式存储的 .ma....

每日打卡第1天 今日收获 在Java项目中运行spark插件后，报错，按照网上的教程步骤，成功解决了问题。 参考的文章的链接: 网....

KafkaApis模块是Kafka中负责不同业务请求的具体实现逻辑，本文主要讲一下KafkaApis处理FetchRequest请求的流程。 当状态为Fo....

Nacos 设计模型 nameSpace->group->Service/DataId  Nacos 服务领域模型     @Autowired private LoadBalancerC....

写在前面 在dubbo之服务本地暴露 文章中，我们分析了当scope="local"时使用injvm协议的本地服务注册，本文一起来看下实际业....

flink 启动参数传递解析 启动 flink run -d -c class.main -p 3 xxx.jar xxx.properties public static void main(String[] ....

文章目录 1、kafka.apache.org网址中下载所需的kafka包2、修改配置文件server.properties3、修改环境变量4、分发到各节点5、....

文章目录 一、单机部署二、容器化部署三、纠删码部署四、分布式集群部署 一、单机部署 # 下载二进制软件包wget https://dl....

from unittest import resultfrom pyspark import SparkConf,SparkContextimport json# /opt/module/spark/bin/spark-submit /op

1. CAP理论介绍 CAP定理（CAP theorem）：对于一个分布式计算系统来说，不可能同时满足以下三点： 一致性（Consistency） （....

什么是快递鸟? 快递鸟是深圳快金数据的一个接口服务品牌，整合1600多家国内外快递物流公司系统，形成统一标准接口，为电商平....

1 worker 获得RDD 1.1 RDD.interator 返回 RDD 数据迭代器def iterator(split: Partition, context: TaskContext): Iterator....

文章目录 前言检索的前一步检索分数sort operator二次召回 改变权重组合查询归因问题（functionScore）聚合 结语 前....