大数据知识_大数据学习笔记

区别： RDD是分布式的java对象的集合，但是对象内部结构对于RDD而言却是不可知的。 DataFrame是一种以RDD为基础的分布式数据....

文章目录 Spring cloud config配置中心步骤三个业务模块的配置，传到git仓库搭建配置中心配置中心的客户端 Rabbitmq消息中....

【摘 要】 白皮书以数据要素的价值释放作为核心逻辑，重点探讨大数据政策、法律、技术、管理、流通、安全等方面的内容，并对....

1.Hive Lateral view Lateral View用于和UDTF函数（explode、split）结合来使用。 主要解决在select使用UDTF做查询过程中，....

HIVE学习 1、基本概念 HIVE是类SQL的语言，它们的查询语言是相似的；但处理的数据规模、数据量不同。 是hadoop的一个客户端....

Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用java语言所实现的开源软件的架框， 在大量计算机组成的集群当中....

目录 一. 【实验准备】 1.工作目录 2.打开eclipse并配置工作空间 二、准备工作 1. 新建项目 2. 准备测试数据 3. 添加 MapRe....

打开虚拟机 首先确保虚拟机上安装了hadoop spark hive hbase  然后依次启动 启动hbase 首先先确保 先启动zekooper hadoop启....

Exchanges 1、Exchanges1.1、Exchanges概念1.2、Exchanges的类型1.3、无名exchange 2、临时队列3、绑定(bindings)4、Fanout....

大数据-玩转数据-Hadoop 集群搭建和简单应用 目录 • 概念了解 • 集群服务器规划 • 软件安装步骤概述 • Hadoop安装 o 1、....

1.spark代码如下 报错代码为 val address = IpParse.evaluate(dataMapIp) 调用工具类的如下代码，new 对象的时候找不到文件 ....

1. 什么是搜索引擎？ 顾名思义就是按关键字搜索到你想要的内容，类似于百度 搜素引擎的应用场景 当数据库数据量很大时，使用....

目录 一. 【实验准备】 1.启动Hadoop集群 2.安装Hive 3.工作目录 4.解压Hive 二. 【实验步骤】Array数据类型的使用 1.创建数....

文章目录 1 前言2 一张图3 参考资料 1 前言 由于自己经验并不丰富，理解也不深刻，但是被hadoop、spark、flink、geospark、s....

bug重现 kafka消费者只能消费到部分canal传到kafka的数据 [2021-12-21 21:39:23,851] WARN [Consumer clientId=consumer-con....

ZooKeeper部署 ZooKeeper ：Shell脚本搭建单机版ZooKeeperZooKeeper ：搭建ZooKeeper集群ZooKeeper ：Nginx基于TCP协议代理Z....

目录 一. 【实验准备】 1.资源文件夹 二. 安装Hive及配置环境 1.Hive安装 2.配置环境变量 三. 启动Hive执行如下命令启动hive....

赛道 A：二手车估价问题 随着我国的机动车数量不断增长，人均保有量也随之增加，机动 车以“二手车”形式在流通环节，包括二....

文章目录 一、单选二、多选三、填空四、判断五、简答六、计算 一、单选 1下面哪个选项属于大数据技术的“数据存储和管理”....

非常感谢UP主GIS小呲花和超图的技术工程师，在SuperMap系列软件这块给了全部的方案。 我的客户有19w条地名地址数据需要在Ces....