大数据知识_大数据学习笔记

1、SparkStreaming的介绍 SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高吞吐量、容错的实时数据流处....

文章目录 一、Spark集群拓扑二、做好准备工作（一）准备本地系统文件（二）准备HDFS系统文件（三）启动HDFS服务 三、以--ma....

数据现装 目前项目中的数据存储在mysql数据库中，虽然mysql按照业务域分库（16个），单库256张表。但是表数据量目前300W，每....

序列化器、反序列化器以及分区器都有所了解，Kafka客户端提供默认的7种方式基本够用了，但是对于一个大型复杂的项目群里面，....

flink-conf.yaml # Slot的个数taskmanager.numberOfTaskSlots: 2 此配置分两种情况使用： 1、在flink单独集群的时候可以配置....

需求分析： 1.虚拟机准备 2.安装JDK 3.配置Hadoop集群 4.配置ssh 5.启动、测试集群 1.虚拟机准备 1.1 scp（secure co....

如果你对数据分析感兴趣，希望学习更多的方法论，希望听听经验分享， 欢迎移步微信公众号「小火龙说数据」，更多精彩原创文....

文章目录 0. 相关概念1. 你怎么理解数据分析的？数据分析的主要流程是什么？2. 指标的异常波动变化（例如日活下跌），你会如....

前言 互联网技术越来越多，因为具有非常不错的发展空间，随着大家对大数据、云计算的概念越来越熟悉，也慢慢融入到我们的生....

目录 SQLNoSQL小文件存储大文件存储 SQL 业务发展到一定阶段后，需要拆库拆表来满足业务的进一步发展，一般做法是将这部分功....

毫无疑问，数字技术正在改变商业的未来。影响业务方向的两大技术进步是社交媒体和数据分析。这些对于普通人来说似乎是无关的....

一定要分表分库吗？ 当然不一定。 虽然很多互联网公司的体量很大、用户非常多，但你千万不要被这些现象迷惑了。实际上，90% ....

讨论下map的性能，大数据量下哪个更好？ 前提：IdentityHashMap不在讨论范围内。数据 100W，机器指标I3处理区，4G内存。单....

1、智慧养老概念 智慧养老是利用物联网、云计算、大数据、智能硬件等新一代信息技术产品，能够实现个人、家庭、社区、机构与....

报错： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): C....

Naffiti项目介绍： Naffiti是第一个DAO管理的无气NFT发 射台、市场和交易所项目概述 纳菲提不仅仅是一个NFT市场。我们的目标....

1、Apache Linkis 介绍 Linkis 在上层应用和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC ....

kafka基本功能及使用 一、kafak架构中相关术语1.1 kafka所遵守JMS规范1.2 相关术语1.3 术语详解及使用 二、相关API2.1 生....

数据库和数仓是承载金融等企业核心交易业务与数据处理的基石。 华为云Stack为政企客户提供基于openGauss开放生态的企业级分....

如果你觉得这篇文章对你有帮助，麻烦给个赞，并且点点关注！谢谢！后续还会更新在hadoop全发布中添加各种组件，比如：kafka....