大数据系统知识_大数据系统学习笔记

消息中间件Kafka 今天来讲讲消息中间件Kafka,一般面试都会问到 Kafka Kafka只支持集群部署，运行在一台或多台服务器上面。Ka....

zookeeper 3.6.3安装 Zookeeper需要依赖JAVA环境运行，JDK的安装可参考： https://blog.csdn.net/weixin_41212819/article....

Kafka对接Flume Kafka消费Flume推送的数据Kafka生产数据推送到Flume 读取kafka数据只需更换KafkaSource 推送数据只需更换....

Hadoop 压缩文件命令 hadoop jar /usr/bin/hadoop/software/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.2.4.jar ....

量化投资回测教学之掌握矢量化回测 1. 什么是回测？ 回测用于模拟交易策略的过去表现。 回测的核心概念是通过回溯时间来模拟....

1、什么是链路追踪 随着微服务架构的兴起，原本一个应用程序里的功能被分为了若干个小程序，互相之间使用http进行调用，当用....

文章目录 前言一、Yarn基础架构二、Yarn工作机制容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler） 三、Yarn....

Springboot 操作 Elasticsearch pom.xml org.springframework.boot spring-boot-starter-data-elasticsearch org.....

目录 一些基本概念OLTP/OLAP谷歌的三驾马车CAP理论计算和存储分离 TiDB基础TiDB设计六大目标TiDB分层结构 TiKV底层原理数....

本题适合一到三年 Java 开发 ，以下问题都是按照原面试官提问记录 文章目录 我要进大厂系列面试题二面 我要进大厂系列面....

1、什么是shell Shell（外壳） 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种....

近年来，大数据如浪潮般席卷全球，并深度改变人们的生活、工作和思维方式。 世界上越来越多的国家开始从战略层面认识大数据....

大家好，来csdn这么多天了，本嘤嘤怪终于决定写一遍博客，就当做是记录吧。 我今年大三，学校要求马上就要实习了，我学过C，....

Elasticsearch 基础 Elasticsearch 的安装 linux 下安装 Elasticsearch： 解压 tar -xvf elasticsearch-7.3.0-linux-x86_64.....

vi /etc/security/limits.conf* soft nofile 65536* hard nofile 65536vi

新闻网实时数据步骤（毕业设计） 实时步骤1.打开虚拟机2.启动zookeeper3.启动Hadoop4.手动切换active5.启动hbase6.启动kafka....

问题一： hive> select 1; FAILED: SemanticException org.apache.hadoop.ipc.RemoteException(java.io.IOException): Fil....

1.Redis常见使用场景 数据高并发的读写，海量数据的读写，对扩展性要求高的数据 2.Redis为什么是单线程，速度为什么快 因为c....

一、背景 随着大数据技术的广泛应用，有各种的上层应用和计算引擎，而对于上层应用来说，连接每种引擎的方式都不一样，这样....

我们目前开源的 舆情系统 分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式....