大数据知识_大数据学习笔记

1.下载地址 下载解压,无需安装 Apache ZooKeeperhttp://zookeeper.apache.org/releases.html 2.cfg文件 复制conf下的zoo_sam....

部署Kafka需要部署zookeeper，首先部署zookeeper 这里写目录标题 一、zookeeper 部署前准备 部署开始 ....

1.Block（数据块） 数据被切分后的一个整体称之为块在Hadoop1中默认大小为64MB，在Hadoop2及其以后默认大小为128MB同一个文....

docker run -d -e ES_JAVA_POTS="-Xms256m -Xmx256m" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 --name E....

一. 解压Spark安装包 tar -zxvf /h3ch/spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src/ 二. 重命名conf目录里的 slaves.t....

regexp_replace(需要处理的字段名称,'\n|\r|\t','') as 重新命名

一. 解压安装Kafka tar /h3ch/kafka_2.11-2.0.0.tgz -C /usr/local/src/ 二. 启动zookeeper服务器 ./bin/zookeeper-server-s....

1 、简介 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能....

HDFS的block和切片（split)的区别 1.split是MapReduce里的概念，是切片的概念，split是逻辑切片，而block是物理切块。 2.spl....

简介 在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。但是一条消息只能被消费....

1.延时队列+死信队列实现 （1）配置 import org.springframework.amqp.core.*;import org.springframework.context.annotati....

import java.io.File; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f

package com.hj.spark;import java.util.Arrays;import java.util.Iterator;import org.apache.spark.SparkConf;import org.apac

Spark 学习之路三——Spark 的核心之 RDD 进阶 文章目录 一、Spark 优化1.1 常用参数说明1.2 Spark 常用编程建议 二、Spa....

解决方法不一定完全正确，也可能会有多余步骤，仅供参考 把json-serde-1.3.8-jar-with-dependencies.jar，json-udf-1.3.8-ja....

package com.hj.hive; import java.io.File; import java.sql.Connection; import java.sql.DriverManager; import

自我介绍：我是陕西科技大学 数学与数据科学学院 大数据专业大二的学生。大一的一些偶然经历逐渐提起了我对编程的兴趣，经过....

spark学习之RDD Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大....

在streaming DataFrames/Datasets上应用各种操作.主要分两种: 直接执行 sqlDSL(api) 1. 基本操作 在静态的DF/DS 上大多数通....

目的 对达梦的数据通过hive/spark进行分析计算，将结果存入hbase。 实际情况 有两种方式可供选择：1）利用spark与dm的jdbc链....