大数据知识_大数据学习笔记

重复消费问题： 为了解决消费端因为种种原因而造成的消息丢失问题，我们都知道根源在于因为RabbitMQ的自动ack机制，所以为了....

1. ES简介 Elasticsearch（简称ES）是一个分布式的搜索和分析引擎，具有分布式、高性能、检索快等特点，内部使用Lucene全文....

解决方案： cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim yarn-site.xml 增加以下一段代码         yarn.nodemanag....

ElasticSearch Windows集群安 一、集群部署二、集群验证三、集群状态说明四、创建索引（测试） 一、集群部署 前提是：下载....

一、三个注册中心的异同点 二、CAP原则 C：Consistency（强一致性） A:  Availability  (可用性) P:  Partition tolera....

Java知识学习与总结 本项目都是自己平时学习Java知识的总结，内容涵盖Java基础知识，算法，设计模式，并发，分布式，高可用....

Rest学习环境搭建：服务提供者、服务消费者 1、首先创建一个父工程，在pom.xml文件中，将所有需要的依赖导入，方便控制几个....

想查数据，就免不了搜索，而搜索离不开搜索引擎。百度、谷歌都是非常庞大、复杂的搜索引擎，它们几乎索引了互联网上开放的所....

随着互联网、大数据、云计算技术的快速发展，我国医疗机构的信息化程度越来越高，逐步向数字化医疗、智慧医疗发展。 手机挂....

Kafka特性 高吞吐 ,低延迟可扩展性持久性 ,可靠性容错性高并发Kafka使用场景 异步处理 ,日常解耦 ,削峰 ,提速 ,广播 例: 消....

max聚合：获取一组数据流中最大的值 示例环境 java.version: 1.8.xflink.version: 1.11.1 示例数据源 （项目码云下载） Fl....

自行实现 package com.peace.test.zookeeper.dlock;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.K....

1 Spark 3.0 新特性 2 Adaptive Query Execution 自适应查询(SparkSQL) 3 总结 AQE的开启通过: spark.sql.ada....

在社会经济飞速发展的时代背景下，生态污染和能源消耗成为全球共同关注的问题，因此可再生能源成为提高社会发展水平、实现经....

一、最小集群安装 1、Hive安装及配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apac....

前提： zookeeper集群启动成功 hdfs集群启动成功 进入hbase的conf目录配置 hbase-env.sh JAVA_HOMEHBASE_MANAGES_ZK....

文章目录 业务说明1.1 表的结构1.2 文件样例2.1 将文件导入临时表并将标签串炸裂开3.1 找到发生变化的标签(新增与删除)4. 循....

1、 集群规划 三台安装过zookeeper的虚拟机 2、jar包下载 http://kafka.apache.org/downloads.html 3 、集群部署 1）解压安....

定时任务删除日志 注意,如果在服务器上搭建,一定要处理好日志!一定要用定时任务处理冗余! 当然也可以在配置文件中中将logfil....

本文分享自华为云社区《秒杀系统架构设计都有哪些关键点？》，作者：JavaEdge 。 0、目标 秒杀重复排队 重复排队：一个人抢....