
hive执行命令:desc ods_event_log时,comment列为??编码的问题,如下图: hive (default)> desc ods_event_log;OKcol_name ....
目录 连接RabbitMQ 方式1:使用指定的参数 方式2:使用URI 交换器、队列的使用 交换器 ....
package TTest;import com.hw.chinamobile.service.SparkConfig;import org.apache.spark.api.java.JavaPairRDD;import org.apac
1. 官网地址 rabbitmq官网:https://www.rabbitmq.com/download.html Elang官网:http://www.erlang.org/downloads 我用的是....
Author:Sickey Date:2021-11-25 1. 安装消息队列服务 先查看RDO中消息队列服务的状态 systemctl status * yum install -....
模型训练 TF(2.1) import tensorflow as tffrom tensorflow.keras import layers,modelsimport tensorflow as tfimport nu....
HBase介绍 HBase是一种数据库:Hadoop分布式数据库。总体上来说,它是一个随机访问存储和检索数据的平台。HBase作用不适合处....
一、IK 分词器和ElasticSearch集成使用 1.1 问题分析 在进行字符串查询时,我们发现去搜索"搜索服务器"和"....
目录 1.1.1 信息化浪潮(大概15年一次) 1.1.2 信息科技为大数据时代提供技术支撑 1.1.3 数据产生方式的变革 1.1.1 信息化浪....
词频分析 from pyspark import SparkContextdef main(): sc = SparkContext(appName='SparkWordCount') inp....
看很少有博客说这种问题,那我就分享一下踩坑记录吧~ 首先说一下解决方法:增加executor的内存资源:--executor-memory 最....
linux-玩转数据-免密登录 在hadoop安装的时候,需要设置免密登陆 连接上三台虚拟机的XShell 首先进入root底下的.ssh目录 cd ....
我设置了环境变量,能够进入Phoenix客户端,但要想连接成功HBase就需要在规定的路径下开启客户端。 必须要在/opt/module/apa....
echarts是一个开源的js图表库 就是为了完成大数据可视化,也是现在企业中比较主流得图表库 特点: 兼容绝大多数浏览器 高度....
第一个坑:Erlang与CentOS的版本匹配 一来就在官网下载最新版的Erlang OTP 24: 结果安装过程各种报错,结果Erlang 24版本....
1.Delta Lake 简介 Delta Lake 是可提高数据湖可靠性的开源存储层。Delta Lake 提供 ACID 事务和可缩放的元数据处理,并统一....
每个分区只能由同一个消费者组内的一个 Consumer 实例来消费 Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例....
微信公众号:运维开发故事,作者:wanger 场景分析 ▼ 由于公司zabbix的历史数据存储在elasticsearch中,有个需求是尽可能....
1. 总结 1.1 submitTask TaskExecutor#submitTask开始,主要有4个工作: 首先将 TaskSlot 的状态修改为 Active,然后取消 Sl....
1.搭建好hive-on-spark后,首先测试搭建环境是否成功: 如:create table student (id int, name string); insert into tabl....