
flink写iceberg报错 场景:flink sink iceberg时,使用equalityFieldColumns指定字段时,报错如下: java.lang.IllegalArgum....
1. Spark SQL 初识 1.1 Spark SQL 是什么 Spark SQL 是 Apache Spark 的用于处理结构化数据(Structured Data)的模块。 1.2....
是什么 Hive是Hadoop生态的数据仓库工具 Hive将存储在HDFS上的文件映射为关系表 通过解析开发者提交的SQL语句,将SQL转换成M....
hive执行命令:desc ods_event_log时,comment列为??编码的问题,如下图: hive (default)> desc ods_event_log;OKcol_name ....
目录 连接RabbitMQ 方式1:使用指定的参数 方式2:使用URI 交换器、队列的使用 交换器 ....
package TTest;import com.hw.chinamobile.service.SparkConfig;import org.apache.spark.api.java.JavaPairRDD;import org.apac
1. 官网地址 rabbitmq官网:https://www.rabbitmq.com/download.html Elang官网:http://www.erlang.org/downloads 我用的是....
Author:Sickey Date:2021-11-25 1. 安装消息队列服务 先查看RDO中消息队列服务的状态 systemctl status * yum install -....
模型训练 TF(2.1) import tensorflow as tffrom tensorflow.keras import layers,modelsimport tensorflow as tfimport nu....
HBase介绍 HBase是一种数据库:Hadoop分布式数据库。总体上来说,它是一个随机访问存储和检索数据的平台。HBase作用不适合处....
一、IK 分词器和ElasticSearch集成使用 1.1 问题分析 在进行字符串查询时,我们发现去搜索"搜索服务器"和"....
目录 1.1.1 信息化浪潮(大概15年一次) 1.1.2 信息科技为大数据时代提供技术支撑 1.1.3 数据产生方式的变革 1.1.1 信息化浪....
词频分析 from pyspark import SparkContextdef main(): sc = SparkContext(appName='SparkWordCount') inp....
看很少有博客说这种问题,那我就分享一下踩坑记录吧~ 首先说一下解决方法:增加executor的内存资源:--executor-memory 最....
linux-玩转数据-免密登录 在hadoop安装的时候,需要设置免密登陆 连接上三台虚拟机的XShell 首先进入root底下的.ssh目录 cd ....
我设置了环境变量,能够进入Phoenix客户端,但要想连接成功HBase就需要在规定的路径下开启客户端。 必须要在/opt/module/apa....
echarts是一个开源的js图表库 就是为了完成大数据可视化,也是现在企业中比较主流得图表库 特点: 兼容绝大多数浏览器 高度....
第一个坑:Erlang与CentOS的版本匹配 一来就在官网下载最新版的Erlang OTP 24: 结果安装过程各种报错,结果Erlang 24版本....
1.Delta Lake 简介 Delta Lake 是可提高数据湖可靠性的开源存储层。Delta Lake 提供 ACID 事务和可缩放的元数据处理,并统一....
每个分区只能由同一个消费者组内的一个 Consumer 实例来消费 Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例....