大数据知识_大数据学习笔记

第一章 Hive介绍 1.1hive概述 1.1.1 hive的简介         HIve是基于Hadoop的一个数据仓库工具，可以将结构化的数据....

函数式编程的核心 1、传统的编程是包含数据和函数，函数式编程，即剥离数据专注功能。 2、函数式编程是程序集公有化、不操作....

如今生活节奏在不断的加快，人们为了能够更好的利用碎片化的时间提升自己，通常会选择一些在线的知识付费平台来供自己学习，....

文章目录 问题1:User: root is not allowed to impersonate anonymous解决办法： 问题2：解决办法： 问题1:User: root ....

文章目录 storm-kafka源码分析(一)一、org.apache.storm.kafka(一)ZkState(二)trident.ZkBrokerReader(三)ZkCoordinator(四)....

MyISAM和InnoDB两种存储引擎有什么区别？ 总览 MyISAM是MySQL 5.5版本以前默认的数据库引擎InnoDB弥补了MyISAM的一些不足，....

Flink Yarn的2种任务提交方式 Pre-Job模式介绍 每次使用flink run运行任务的时候，Yarn都会重新申请Flink集群资源（JobManag....

Flink 1.13.2 Kafka 2.6.2 思路与环境 从kafka中读取数据 根据逻辑判断分配到不同的topic中去 需要重写Flink Kafka的Key序列....

1.安装准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar.gz kafka_2.11-2.0.0 .tgz 2.准备至少三台虚拟机 192.168.196.12....

将kafka文件放到opt/soft中。 解压缩 [hadoop@hadoop1 soft]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module [hadoop@h....

Hive架构及搭建方式 [TOC] 前言 本文档基于hive 3.1.2编写 hive的基础知识 基本架构 整个hive由hiveserver2和hive 客户端组....

关键命令 hostnamectl set-hostname master vi /etc/hosts tzselect vi /etc/profile echo “TZ=‘Asia/Shanghai’; export ....

0、总结 windows后面可以添加apply，process，然后apply传入WindowsFunction， process传入processWindowsFuction，是全量窗....

RabbitMQ单机部署 前置环境 使用RabbitMQ那么需要准备Erlang环境才能运行，通过Erlang安装包下载下载对应的rpm包，并且拷....

声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章             ....

Weather Spark专业级地理气候信息平台，提供全球地点的气温、降水、云量、风力风向、日照等综合气象信息，并通过图形化呈现....

1、使用 基于flink架构来完成数据同步，数据量大的话比datax较快，分布式 2、数据源 支持多种数据源，以source（读）与sink....

记录一下在做校内Hadoop作业的时候遇到的问题. 作业比较基础, 就是通过Makefile 调用hadoop执行提前写好的 MapReduce程序. ....

根据原理图写代码 首先创建一个基于MAVEN的springboot工程（另外一篇博客有讲） 以下是此项目所依赖的jar包 ....

arg_max(col1, col2) 效果：查询col1列的最大值，并返回该记录中col2的值。 arg_min(col1, col2) 效果：查询col1列的最小值....