大数据知识_大数据学习笔记

提交任务 spark 工作节点 包含 master node， workNode ; 通过 RpcEndpoint 实现节点间的通信, RpcEndpoint::receive 是 处....

Java使用Producer向Kafka集群发送消息 一、Pom文件配置二、向Kafka集群发送消息2.1 直接发送2.2 同步发送2.3 异步发送2.4 Fl....

工作中接触到通过kafka拉数据的需求，了解到offset.reset配置项，记录一下 相关代码段： consumerGroup.setConsumer(`te....

import org.apache.hadoop.mapreduce.Mapper.Context; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import

看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？ 大数据羊说__的文章会让你明白 大数据羊说 用数据提升美....

2021SC@SDUSC 前言 至上一篇博客分析完了Spark Streaming的数据接收初步流程，接下来分析Spark Streaming的数据清理 Spark S....

DAG: 大数据计算引擎框架我们根据使用方式的不同一般会分为四类，其中第一类就是Hadoop 所承载的 MapReduce,它将计算分为两....

线上的IT培训平台，现在寻求大佬们入驻成为讲师。我们希望你在Python、机器学习、大数据、C++、Java.Go语言、Linux、Web、PH....

SearchRequest request = new SearchRequest(); request.indices("user"); SearchSourceBuilder builder = ne....

1 指定jdk启动 启动命令：JDK路径至java目录 + -jar +jra包路径 &，最后的&是表明后台运行，不加默认是前台运行（不可Ctrl c....

历史市场数据 从 API 接收历史数据与接收流式处理顶级实时数据实时市场数据具有相同的市场数据订阅要求。API历史数据功能从T....

1、选举机制的概述 半数机制：集群中半数以上机器存活，集群可用，所以zookeeper适合在奇数台机器上，zookeeper虽然在配置文....

如果电脑上没有VMnet8 解决方案： 如果之前下载过VMware，需要将所有的VM文件夹删除掉，然后下载一个CCleaner 下载CCleaner,....

根据编写Spark任务的代码来看，很直观的感觉是RDD就是一个只读的数据，例如 rdd.foreach(println)。 但是不是， RDD其实不存....

Java访问Kerberos认证的HDFS文件系统 一、项目pom依赖配置二、Java访问代码三、实现截图四、遇到错误五、总结 前几天搭建了K....

【2021年第三届全国高校计算机能力挑战赛】大数据应用赛 赛题：大数据应用赛一、赛题背景：二、时间安排：三、奖项设置：四....

区块链技术的诞生，除了衍生出加密货币这类新兴资产以外，也为传统金融、数据隐私、供应链、跨境汇款等应用领域带来革命性的....

source&store （1）：_source默认是打开的，将原始文档以JSON的形式存储在_source字段中，在lucene中_source只是一个字段，....

问题概览 1、Spark DataFrame 写入HIve 出现HiveFileFormat. It doesn't match the specified format ParquetFileForma....

资源调度模型 （1）双层资源调度模型 YARN采用双层资源调度模型，第一层，RM中的资源调度器将资源分配给各个AM，第二层，AM....