大数据知识_大数据学习笔记

想要查看部署到K8S上的RabbitMQ version 在网上找了一个 sudo rabbitmqctl status | grep rabbit 但是当我登录rabbitmq对应....

文章目录 概述MR 支持的压缩编码压缩方式选择Gzip 压缩Bzip2 压缩Lzo 压缩Snappy 压缩 压缩参数配置 概述 1）压缩的好处和....

收到一个需求：将es集群的数据抽取到大数据平台 在hive创建一个对应数据表 create table if not exists ods.pr_es_test_orc(....

一、概述 MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带的默认组件，整合成一个完整....

一、背景介绍 信用卡欺诈 信用卡欺诈是指故意使用伪造、作废的信用卡，冒用他人的信用卡骗取财物，或用本人信用卡进行恶意透....

关注“数字化人才俱乐部”公众号，回复“制造业”，免费领完整版报告。 《制造业数字化转型路线图》是由中国电子技术标准化....

主从模式 作用 独写分离，保证高并发场景下性能不会下降 图解主从模式 如下图所示，除了master以外，其他的redis示例不可进....

Elasticsearch倒排索引 倒排索引的概念是相对于MySQL这样的正向索引而言的。 1.正向索引 那么什么是正向索引呢？例如给商品....

天津大学 天津大学佐治亚理工深圳学院 081200计算机科学与技术 ①101 思想政治理论 ②201 英语（一） ③301 数学（一） ④90....

Pulsar Pulsar-Flink-Connector Pulsar-Flink-Connector: java.lang.NoSuchFieldError: INIT_AUTH_DATA

大数据平台的搭建 大数据基础平台对大规模数据集（海量数据），提供底层分布式计算和分布式存储技术，可以扩展到数以千计的....

清华大学 计算机科学与技术系 081200计算机科学与技术 ①101 思想政治理论 ②201 英语（一） ③301 数学（一） ④912 计算机....

需求 将用户id、广告id做成embedding 思路： 用户id embedding 根据广告id分组统计每个广告id下，有点击的用户id，并根据....

一、安装 1. 节点环境准备 准备相关软件及依赖 yum install -y epel-releaseyum install -y psmisc nc net-tools rsync vim....

| 名称 | 链接 | 备注 | | :-- | :-- | :-- | | 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主....

到kerberos server 所在机器执行： kadmin.local -q ‘getprinc hdfsxxxxxxx’ # 查看输出内容中Maximum renewable life 对....

在IDEA里编写好自己的WordCount程序后，我们使用Maven打包。 将jar包导入到Hadoop集群中。使用Hadoop命令执行jar包，出现如....

“云原生数据中台”正在成为智领云的一个重要标签，这是在与智领云科技联合创始人兼CTO宋文欣对话时的感受。宋文欣非常看重....

spark的shuffle流程1.shuffle发生在宽依赖算子划分阶段的时候，但是宽依赖算子不一定发生shuffle2.shuffle分为两个阶段，一....

搭建hadoop的时候不小心配错域名 导致配置免密码登陆的时候密码一直输入错误 重新修改域名后在配置就一直报错 解决办法 在....