大数据知识_大数据学习笔记

1、Mapper 类 * Maps input key/value pairs to a set of intermediate key/value pairs. * * Maps are the individual ....

前言 在ubuntu20桌面上顺利编译hadoop3.3.1各种源码，编译命令如下都通过了，接下来是找到编译后的文件启动一个节点的hadoop....

相信很多小伙伴到了双十一的节点就是各种买买买，但是你不知道的是 ，在你们买的时候 ，身后有一群数据分析师在忙的死去活来....

【概述】 在HDFS存储体系中，可存储的文件数量受限于NN的内存大小。因为在NN内存中，存储了所有文件的block信息。 因此，对....

@永恒之月 hdfs基础操作 删除数据hdfs上的数据 删除文件 hadoop fs -rm /user/root/test.txt 删除目录 hadoop fs -rm -....

项目场景： hive3.1.2配置mysql的问题 问题描述： 我在初始化mysql的时候，一直报错 Metastore connection URL: jdbc:mysql....

搭建Hadoop集群 安装两个虚拟机（用户名尽量统一为hadoop） VMWare Ubuntu18.04.2 jdk1.8.0_202 hadoop-2.10.1 master ip 1....

参考：python数据分析案例简单实战项目（二）–新冠疫情数据分析 任务一：数据的基本处理 任务 1.1 根据附件 1“城市疫情....

数仓开发规范 凡事无规矩不立，所以你会经常看到各种各样的规范，面对规范需要遵守，但是不能盲目，例如我们开发人员最常看....

侧视图将employee表中的work_place(array)列 炸裂开0: jdbc:hive2://192.168.153.139:10000> select explode(work_plac....

ELK(一)—ElasticSearch入门学习 文章目录 ELK(一)---ElasticSearch入门学习 Elasticsearch简介优点实现原理 安装Window....

Elasticsearch简介         术业有专攻！说Elasticsearch在搜索方面比mysql强大，倒不如说MySQL本身也不是为了查询....

一、前情提要 上一篇文章介绍了MapReduce的Api调用方法以及eclipse的配置，这次我们就利用MapReduce对英语文章文件进行单....

一、activemq activemq工作模型比较简单。只有两种模式 queue、topics 。 queue就多对一，producer往queue里发送消息，消费....

本人才疏学浅，以下内容是个人查看各种文章以及搜索资料所写出来的，所以如以下内容有不合适的地方，请及时纠正我，不吝赐教....

目录： 1、下载 2、安装与配置  3、利用python尝试使用 1、下载 zookeeper 下载地址为: Apache ZooKeeper，点进去后选择....

一、基本查询 from elasticsearch import Elasticsearch# 建立连接es = Elasticsearch( hosts={'192.168.0.120....

java中的lambda可以序列化吗？ 这个问题之前一直也没想过，其实主要也是之前从来没有遇到过需要序列化它的情景，直到。。。 ....

通过官网 www.haproxy.org下载对应版本的安装包 tar zxvf haproxy-1.7.14.tar.gzcd haproxy-1.7.14.tar.gzuname -r #查看....

极光高级工程师——蔡祖光 前言 Spark在2018开始在极光大数据平台部署使用,历经多个版本的迭代,逐步成为离线计算的核心引擎....