前沿技术知识_前沿技术学习笔记

需求描述本次实验需要以2020年美国新冠肺炎疫情数据作为数据集，以Python为编程语言，使用Spark对数据进行分析，并对分析结....

今天本机安装hadoop 时，遇到一个问题，配置 ssh 登录权限失败 xxx@yyy:/opt/hadoop$ ssh localhostssh: connect to host lo....

Hbase安装与配置 虚拟机：CentOS7 用户：root 一 、HBase2.4.11安装 下载Hbase安装包 所用下载镜像是北京外国语大学的下载镜....

Kafka Broker 工作流程 Zookeeper存储的Kafka信息 Kafka Broker总体工作流程 Broker参数 参数名称描述replica.lag.time.ma....

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我....

1.Hive的date_add语法说明 date_add（'yyyy-MM-dd'，n/-m）返回初试日期n天后、m天前的日期 hive> select date_ad....

Spring boot集成RabbitMQ的简单使用与应用(发送邮件) 总的来说:就是你生产一个消息发送给交换机，交换机按照规则(配置类)消....

某国货美妆 x Whale 帷幄｜同解锁抖音赛道的品牌「流量密码」 随着颜值经济、颜值社交的爆发，以抖音为代表的短视频领域，....

在运行MapReduce程序的时候如何解决 'log4j warn please initialize the log4j system properly' 在主函数中加入 ....

在安装RabbitMQ中需要注意： 1、RabbitMQ依赖于Erlang，需要先安装Erlang 2、Erlang和RabbitMQ版本有对应关系 https://www.r....

第五节 DML操作数据表中的数据 DML数据:数据库操作语句,也指操作表记录 作用：对表中的记录进行增删改操作 5.1 增加数据 插....

hive建表字段的数据类型确定： 涉及到交易笔数一般用：bigint 设计到金额的一般用：decimal(38,2) 其他的数据一般用string（....

记录一种大数据修改或者删除的sql批量分大小执行优化的方法 首先需要注入entitymanager对象 @PersistenceContext(type = Per....

首先 flink 的窗口分配是发生在 StreamTask 初始化的过程中。 核心方法是 TumblingProcessingTimeWindows.assignWindows(…)....

代码已上传码云 pom.xml org.springframework.boot spring-boot-starter-web 2.6.0

Kafka 是一个分布式流式处理平台。LinkedIn 最早开发 Kafka 用于处理海量的日志有很大关系，最开始就不是为了作为消息队列的....

文章目录 导读报错分析如何看懂异常日志呢？报错的猜想生产情况分析我个人认为合理的猜想 429报错怎么产生的？查找资料....

一、在spark-shell中运行代码 1、Spark Shell 提供了简单的方式来学习Spark API Spark Shell可以以实时、交互的方式来分析数....

最近在执行Hive任务的时候一直报如下错误 Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: ....

1. 现象 在 Flink SQL 中使用 FileSystem Connector 以 CSV 格式读取本地 csv 文件时，抛出如下异常： Exception in thread ....