大数据系统知识_大数据系统学习笔记

近年来，人工智能(AI)已经成为了我们日常生活中重要的组成部分。各种算法通过执行一系列与市场决策相关的任务，以发现在基本....

Hadoop三剑客 1、HDFS:Hadoop的文件操作系统 HDFS主要是基于谷歌GFS演变过来的，主要实现数据的存储和管理 1.NameNode Name....

1.操作库 基本语法 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hd....

一、消息的生产与发送 连接建立 Pulsar源码解析-客户端-PulsarClient构建生产者创建(包含Topic创建原理) Pulsar源码解析-非....

前言 上期文章，介绍了 Spark 是包含多个紧密集成的组件，这些组件结合密切并且可以相互调用，这样我们可以像在平常软件项....

目录 1.rabbitmq是什么？ 2.什么是消息队列？ 3.消息队列应用的场景 4.rabbitmq的工作原理和组成部分  5. 消息模型 5.1 正....

不会到现在还有程序员都只知道面试肯定要看GitHub吧？ 今天给大家推荐另一个国内最火的程序员面试网站“牛客网”里面有很多....

Java 一面基本上都是基础题，同样是 CURD 的活，谁更熟练要谁，比如下面这些面试题，八股文越熟练越容易通过 Java 面试。 下....

一、Fetch 抓取                         Fetch 抓取是指， Hive 中对某些情况的查询可以不必使用 ....

本文将会围绕《ZooKeeper’s atomic broadcast protocol: Theory and practice》这篇论文讲解 ZooKeeper 和 ZAB 的精髓之处....

一、安装JDK 1.上传jdk-8u121-linux-x64.tar.gz文件到/opt目录 2.解压jdk文件 tar -zxvf jdk-8u121-linux-x64.tar.gz -C /us....

学习的原文：Flink + TiDB，体验实时数仓之美 实时数仓演进图：   storm架构：   spout负责数据传递，输出tuples元....

因为在阿里云租了一台linux服务器，所以打算在上面搞点东西，这次先安装hadoop平台。 准备工作 准备JDK安装包：在网址http:/....

背景 Python 因其在人工智能领域的先天优势，深受欢迎。随着人工智能和机器学习的发展，各行各业职位正在逐渐被智能机器取替....

大家好，我是贺贺，随着课程设计、毕业设计的来临，不同专业的同学有不同的要求，比较常见的做一些应用软件，但是有些专业就....

在腾讯工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系统的时候，熬到9级也费了....

一、概述二、优点三、Elasticsearch四、Logstash五、kibana六、搭建1、环境搭建2、搭建时间同步：2.1、主服务器设置2.2、从....

文章目录 一、web类 (web漏洞 / 敏感目录)二、数据库类 (扫描弱⼝令)三、特殊服务类 (未授权 / 命令执行类 / 漏洞)四、常用....

宝洁所使用的价格战、并购等竞争手段，让日化行业经历了生死存亡式的整合。 在这一过程中，宝洁的许多对手，尤其是中国本土....

学习目标 理解分布式文件存储的概念与实现掌握HDFS分块存储、副本机制等特性学会shell操作HDFS掌握HDFS读写流程理解NameNode....