大数据知识_大数据学习笔记

ELK日志分析系统 一.基础环境配置： 1.ip 192.168.200.10 elasticsearch+kibana ELK-1 192.168.200.20 elasticsearch+logsta....

此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本....

目录 一、编译Flink1 下载flink源码2 增加maven镜像3 执行编译命令 二、编译parcel1 下载flink-parcel2 修改参数3 复制安装....

文章目录 Kafka的简单使用1.kafka常用命令2. go语言的kafka API2.1.sarama2.2下载及安装2.3使用 kafka知识点目录 Kafka的....

一般由于业务需要，会对hive的表有增加字段的操作，如下： ALTER TABLE 库名.表名 add columns (字段名 字段类型 comment &....

业务背景说明： 本公司有一个业务场景是需要从A数据库异构同步至B数据库，在B数据库进行一些逻辑统计查询操作，大致如下图：....

☣RabbitMQ✧消息队列☢ 什么是RabbitMQ? RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中....

文章目录 前言优化方向数据存储结构优化分区设计分桶设计数据压缩存储格式数据生产者应注意的事项 优化场景个别Task运行缓....

1.继承Runnable接口 package com.vince.xq.kafka.thread;public class ThreadOne implements Runnable { private int i; ....

sparkstream报错 Caused by: org.apache.spark.SparkException: This RDD lacks a SparkContext. It could happen in the f....

文章目录 前言未来规划职业目标学习内容学习方法 总结 前言 本人坐标魔都，目前是一名大二计算机类专业在读学生，其中对编....

发送消息时，需要指定路由key，消息到达交换机后，根据路由key匹配队列，队列在绑定交换机时指定了路由key，支持通配符，*代....

create table tmp( name string, class tinyint, cooperator_name string, score tinyint)row format delimited fields

卷首语 如今数字革命正在发生，各种新型技术和技术名词层出不穷，对于项目管理领域这一传统IT领域，我们是否应该关注并及时....

听老人家说：多看美女会长寿 功能定义：利用线的坐标查询出缓冲区并空间查询出该范围内的数据。 使用场景：地图上画一个线....

目录 先说说零拷贝 聊聊传统IO流程 为什么Kafka这么快？ 下面我们来重点探究 kafka两个重要过程、以及是如何利用两个零拷贝....

听老人家说：多看美女会长寿 功能定义：利用多边形的坐标空间查询出该范围内的数据。 使用场景：地图上画一个多边形查询该....

Hadoop生态系统概述 HDFS Hadoop的最底层分布式文件系统） 面向批处理 Hadoop的核心 之一 作用：海量分布式文件存储 YARN ....

ElasticSearch多种查询操作 前言1 词条查询1.1 等值查询-term1.2 多值查询-terms1.3 范围查询-range1.4 前缀查询-prefix1.5 ....

环境准备： centos 7 centos 可以上网 hadoop，Hbase，Hive，Zookeeper正常运行 环境搭建： 版本： sqoop1.4.7-hadoop2.6.....