大数据系统知识_大数据系统学习笔记

Hadoop相关未授权访问漏洞风险较高且使用hadoop的用户比较多，经常在安全检查用遇到这两个漏洞。 修复方法也就是按绿盟扫....

ElasticSearch目录 文章目录 七、ElasticSearch实战（仿京东商城搜索）7.1、项目整体概况7.2、项目初始化7.3、爬虫数据7.4....

问题: ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborti....

Hybrid Source的提出动机 在实践中，许多Flink作业需要按顺序从多个数据源读取数据，具体有如下2个场景： Change Data Captu....

sparkSql数据离线处理 前言：本文作为本人学习sparkSql离线数据抽取，离线数据处理的学习整理记录，文中参考博客均附上原文....

Java message service的基本概念及RabbitMQ的实现 一、JMS（Java message service)的概念1、producer 生产者2、consumer 消....

文章目录 1. 常见消息中间件大 PK1.1 几种协议1.1.1 JMS1.1.1.1 JMS 介绍1.1.1.2 JMS 模型1.1.1.3 JMS 实现 1.1.2 AMQP1....

阅读本文之前，默认已经搭建好了Hadoop集群。 文章目录 前言一、HDFS概述：优点：缺点：HDFS组成：NameNode：DataNode：Cl....

Presto可视化Client-yanagishima的Github地址GitHub - yanagishima/yanagishima: Web UI for Trino, Hive and SparkSQL pr....

在 Flink Forward Asia 2021 的主题演讲中，Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰提出了 Flink ....

为了方便大家梳理清楚大数据学习路线，本文从以下四个方面来介绍大数据技术： 大数据技术栈 大数据发展史 大数据应用 大数据....

前言 想在使用datastream api 开发的时候，对于多个字段开窗的时候，刚开始是逐个排序，但是影响性能。所以想把两个字段一起....

目录 一. 生产者Producer启动 二. 生产者发送消息  一. 生产者Producer启动 MQ发消息之前先启动生产者。设置生产者组并且....

package com.testimport org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport org.apache.spark.sql.{SaveMode, Sp

04-hive开窗函数总结 hive开窗函数官方描述：地址 窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。 引入:在....

1.安装环境要求： 1）Linux64位系统 2）JDK1.8(64位) 3）源码安装需要安装Maven 3.2.x 因此，你安装RocketMQ时，需要提前在L....

前言 所有的技术学习先从helloword开始，学习flink也不例外，相对hadoop来说，flink编写helloword代码更加简洁，灵活性更高....

安装 先安装erl-24.2（自行百度下载,版本一定要对） rabbitmq_server-3.9.11下载(百度配置环境变量即可） 获取配置 下载....

文章目录 Flink简介是什么？为什么要用？哪些要用流数据？架构演变Flink特点Flink和Spark Streaming的区别 部署配置Standa....

准备工作 # PySpark is the Spark API for Python. we use PySpark to initialize the spark context. from pyspark import ....