前沿技术知识_前沿技术学习笔记

一、hadoop环境搭建 1、环境准备 参考文档 1.1软件准备 操作系统:centos7hadoop版本:3.3.1 java版本：1.8 1.2集群规划 主节....

BASE理论 BASE是Basically Available（基本可用）、Soft-state（软状态）和Eventually Consistent（最终一致性）三个短语的....

HDFS整体架构 HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNod....

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMe

HA集群配置 本次配置是使用centos7版本 1.1、Linux基础环境配置 1.查看ip地址 并记录三台机子的ip地址 ip a 2.修改主机名 1)....

一、 环境准备 运行环境需要安装jdk，并配置环境变量，本次使用的是jdk1.8；使用到的开发工具是idea，并且安装scala和antlr....

问题关键： Exception: Python in worker has different version 3.7 than that in driver 3.8, PySpark cannot run with di....

自己利用闲暇时间搭建的一个小型的微服务项目 这是一个综合性的 B2B2C 平台，类似京东商城、天猫商城。网站采用商家入驻的模....

Rabbitmq rabbitmq安装 ​ docker 安装 rabbitmq 下载镜像 docker pull rabbitmq:3.7.7-management 启动镜像（用户名和密....

一、协调生产/消费的需求 本文内容主要想向大家介绍一下Lock结合Condition的使用方法，为了更好的理解Lock锁与Condition锁信....

数据驱动运营 当我们谈论大数据的时候，我们是谈论Hadoop， Spark这样的大数据技术产品？还是大数据分析，大数据算法与推荐....

这篇文章是应一个朋友的问答访谈而遗留整理的 （1）IaaS：云 中国的云计算这个市场，咱们从四个方面来说：技术、资本、竞合....

创建 SparkSession 对象可以通过SparkSession.builder().getOrCreate()方法获取,但使用 Spark-Shell编写程序时，Spark-Shell....

文章目录 一、概念 一、概念 Hadoop 系统支持 MapReduce 编程模型，这个编程模型由谷歌公司发明，该模型可以利用由大量商用....

hadoop fs与hdfs dfs 等同，以下以hadoop fs为例进行介绍。 创建文件夹： hadoop fs -mkdir 路径名 上传文件（本地文件不再....

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 一、题目要求 二、数据解析      ....

今天想跟大家聊一聊关于数据治理过程当中的数据主人之事，这次要聊的这个关于数据主人话题。我们先从国家层面发布的政策法令....

需求 对明细数据先按 waybillId 分组，再按 eventTime 降序，取最新一条数据。 桶聚合（bucket） Elasticsearch 桶聚合，目....

软件版本说明 操作系统 win10 jdk 1.8.0_191 scala 2.12.8 gradle 5.2.1 kafka 2.2.2 一、安装JDK 配置环境变量 新增系统变....

文章目录 前言名称节点（NameNode)辅助名称节点（Secondary NameNode)数据节点(DataNode)作业跟踪器（JobTracker)任务跟踪器....