大数据知识_大数据学习笔记

文章目录 1.ES相关性评分应用2.ES相关性评分算法2.1.TF-IDF算法2.2.EM25算法 3.ES评分权重提升3.1.boost参数的使用3.2.布....

一直以来，业务的稳定性和客户体验是企业各个部门都关注的重点，也是企业数字化转型的重要支撑。但在实际的运维环境中，如果....

前言 本期将介绍 Spark 中一个抽象的概念——RDD，要学习 Spark 就必须对 RDD 有一个清晰的认知，RDD是 Spark 中最基本的数....

1、Hive基本概念 1.1、Hive概述 概念：The Apache Hive ™ data warehouse software facilitates reading, writing, and man....

1. 即调用dataset.write.format("jdbc").save保存数据到数据库 dataset.write.mode("append").format("jdbc") ....

大数据技术训练舱，手把手从零教你大数据技术开发： 大数据技术训练舱：从零开始部署Hadoop3高可用集群（基于CentOS7） 大数....

StarRocks采用Range-Hash的组合数据分布方式，也就是我们一直在提的分区分桶方式。 1分区 StarRocks中的分区是在建表时通过P....

事先声明：本篇文章会比较激烈，作为从2010年开始使用中国云计算的开发者，架构师，深刻的感受到了这十几年中国云计算产业的....

使用presto遇到的一些问题记录,希望对大家有帮助 1.presto连接oracle时遇到用户无法认证的问题: 官网提供的url无法使用,将u....

文章目录 前言RPC请求限流的核心本质HDFS RBF架构的RPC限流方案总结 前言 如今在大数据时代，面对如今规模数据体量快速增长....

1 、预分区 1）预分区概述 HBase表在刚刚创建时，只有一个分区（region），当一个Region过大时（>10G）时，将会被RegionServ....

目录 集群集群配置单节点集群分布式集群故障转移水平扩容路由计算&分片控制数据CRUD流程写流程读流程更新流程删除流程 分....

rabbitmq实现延时消息主要有两种方式： 死信消息（队列ttl+死信exchange）延时插件 (rabbitmq-delayed-message-exchange) ra....

今天给大家分享一些前段时间收藏的资源，内容非常地多，领域也非常地广。  数据处理 巨大的数据量不是EXCEL能处理的，因此....

ElasticSearch 集群 Es支持集群，简单配置即可，隐藏了分布式的复杂性 集群架构解决高可用，分担请求压力分布式架构分担存储....

安装JDK，安装Zookeeper，安装Kafka，依次启动 zookeeper的作用 Broker和Topic注册：分布式部署，需要一个东西来管理，那个....

1、checkpoink的原理流程 jobmanager定期发起checkpoint，向source task发送触发标记（设置的时间） —当sourcetask收到这个....

RDD的转换算子点击跳转 RDD的行动算子 reducecollectcountfirsttaketakeOrderedaggregatefoldcountByKeysave 相关算子fore....

Spark 中通信框架的发展： Spark 早期版本中采用 Akka 作为内部通信部件。 Spark1.3 中引入 Netty 通信框架，为了解....

1、flink的sqlAPI 在flink流上面写 sql 物化视图定义为 SQL 查询。为了更新视图，查询会不断处理视图基本关系的变更日志流。....