大数据知识_大数据学习笔记

应用场景：用Java实现在kafka 的topic1中写数据，有其他程序对topic1中的数据进行消费，并且会把结果写进topic2中，我们需要....

Hadoop是一个用Java开发的开源框架，它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从....

名词解释 Application：基于Spark的应用程序，包含了driver程序和 集群上的executor DriverProgram：运行main函数并且新建Sp....

1、需导入jar包 org.springframework.bootspring-boot-starter-data-elasticsearchcom.alibabafastjson1.2.70org.projectlom....

通过rook部署和对接ceph，使用k8s提供ceph服务。rook官方文档非常详细，里面也有常见问题的fix版本，文档如下： https://ro....

目录 大数据 判断题 非关系型数据主要特性是采用了关系模型来组织数据。 云计算 判断题 SDN的典型架构分为应用层、控制层。 ....

我在配置好各插件后发现agent端与service_discovery端无法实现通信，扫雷过程中发现两个端之间的kafka通信有问题，在查了kaf....

新版本架构图如下图所示：  注意点： 1、老版本 consumer 需要跟zookeeper进行连接，把offset存放在zookeeper中，新版本为....

五、数据技术篇—— 实时技术 5.1 简介5.2 流式技术架构@5.2.1 数据采集5.2.2 数据处理5.2.3 数据存储5.2.4 数据服务 5.3 ....

一、下载、解压、合并与上传数据 在进行数据处理前首先需要获得所需要的数据，首先下载数据 cd /home/hadoopmkdir temp #创....

数仓灵魂审问，你还睡得着吗？ 数据采集？ 如何解决跨天支付问题？ 如何使用flume 使用什么类型的source channel sink 为什....

使用spark运行数据处理事，虽然可以成功运行，但是看spark监控有fail出现，观察日志，发现有报错信息 [ERROR] method:org....

近日，极智嘉 (Geek+)与顺丰供应链宣布战略合作全面升级。顺丰供应链在供应链经验、基础设施资源、2B端场景应用等方面实力雄....

通用性能调优（一） 一、应用开发三原则 原则一：使用spark自身的调优机制 充分利用 Spark 为我们提供的“性能红利”，如钨....

go调用olivere包操作elasticsearch获取原始数据 go调用olivere包操作elasticsearch获取原始数据 go调用olivere包操作elastic....

实验六 MapReduce数据清洗-气象数据清洗 第1关：数据清洗任务描述编程要求测试说明代码实现命令行代码文件step1/com/Weather....

什么是Redis redis是一个nosql(not only sql不仅仅只有sql)数据库，也叫做非关系型数据库。 什么是nosql 泛指非关系型的数据....

导语：一年一度的双十一又双叒叕来了，给技术人最好的礼物就是大促技术指南！ 而经过这些年的发展，大促早已不仅仅局限于电....

文章目录 1、为什么要分区？2、如何分区以及细节3、创建分区4、静态分区5、动态分区 ① Hive 数据管理、内外表、安装模式....

本期与大家分享的是，小北用心整理的与数据仓库相关的常见的面试题，希望对大家能有帮助，大家喜欢就给点鼓励吧，欢迎各位大....