大数据系统知识_大数据系统学习笔记

本文研究全球及中国市场房地产经纪服务现状及未来发展趋势，侧重分析全球及中国市场的主要企业，同时对比北美、欧洲、中国、....

Hive全局排序取清单 CREATE TABLE tmp2 ASSELECt *FROM tmp DISTRIBUTE BY (CASE WHEN year 1960 THEN 2 ELSE 1 END)....

大数据 通常来说，常规软件无法完成抓取、处理的数据可称为大数据(Big Data)。例如，互联网上的网页数据，社交网站上的用户....

Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop，发现DataNode没有启动： 一般由于多次格式化NameNode导致。在....

Hadoop 是一个开源的分布式计算和存储框架，它的作用非常简单，就是在多计算机集群环境中营造一个统一而稳定的存储和计算环....

由于hbase的filter 没有not, 一般判断两个矩形相交的基本算法如下: !(XMin > other.XMax || YMin > other.YMax || XMax othe....

1. Hadoop常用端口号 hadoop2.x HDFS NameNode 内部常用端口号：8020/9000HDFS NameNode web端用户查询的端口：50070 ....

文章目录 一、软件下载列表1. zookeeper2. kafka3. logstash4. elasticsearch5. kibana6. zktools 二、安装zk环境2.1. ....

系统环境：CentOS7.8 flink版本：下载和Scala版本对应的 flink官方下载地址：https://flink.apache.org/downloads.html 查....

功能背景 当前行业内普遍将 Kafka 作为实时提取和处理流数据的工具。同时，习惯将数据整理为 JSON 格式存入 Kafka 中。然而....

本 笔记来源于视频 尚硅谷Web前端ES6教程，涵盖ES6-ES11 概述 ES ES全称是EcmaScript，是脚本语言的规范，而平常编写的Java....

本文为转载焉知智能汽车内容 一、什么是数据匿名化？ 数据匿名化（data anonymization）是通过消除或加密将个人与存储数据联....

目录 Kafka消息队列 Kafka基础概念 关于顺序和分区 关于副本 丢消息和重复收到消息 Zookeeper安装教程 安装步骤 zookeeper集....

文章目录 1. 传统日志采集存在哪些优缺点2. Elk采集日志的原理3. 为什么需要将日志存储在ElasticSeach 而不是mysql中呢4. 为....

本文档主要是用docker部署一个jaeger和es，不是用那个一体启动的，是单独分开部署的，存储用的是elasticsearch。本文档主要....

写在前面： 学校课程要求用 Hadoop 实现朴素贝叶斯分类，这里总结了下大致的操作流程，帮助大家快速入门。 使用的是 windows....

本文基于一个具体的案例，介绍spark中case when，stack，lateral view explode，pivot的用法，并做一些性能上的比较 一、背....

前言 我们知道，DataStream 是flink流式数据处理中一个非常重要的数据结构，可以将DataStream转换成许多其他的数据类型，进....

一、ProcessFunction的使用 1、没有进行keyBy package cn._51doit.flink.day07;import org.apache.flink.api.java.tuple.Tup....

上期回顾 kafka producer同异步发送信息 我们的任务是:先上传在线图片到oss,然后获取图片路径推送到kafka中，上期我们分享了....