大数据知识_大数据学习笔记

目录 一：Collections类概述 二：Collections成员方法 1：对集合排序  2：二分查找指定集合 3：查找最大值 4：反转集合 5：....

Spark学习之SparkCore Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark基于MR框架的，但是优化了....

文章目录 1.顺序读写磁盘2.页缓存(把磁盘中的数据存到内存中，把对磁盘的操作变为对内存的访问)3.零拷贝技术 1.顺序读写磁....

RabbitMQ是一个消息代理，但是Apache Kafka是一个分布式流式系统。好像从语义上就可以看出差异，但是它们内部的一些特性会影....

文章目录 一、概述二、KafkaListener三、ConcurrentMessageListenerContainer四、spring-cloud-stream 本文介绍spring中使....

Flink1.2 Flink on yarn  在运行./bin/flink run ./examples/streaming/TopSpeedWindowing.jar Demo的时候总是报  org.apa....

1、写入到mysql时 利用到了RichFunciton的生命周期，但是实时计算出错不能保证状态的一致性，没有实现了两段锁提交协议 pac....

import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.ha

重要！   Flink CDC 这个名字带着Flink，但是注意！！！我们本地搭建简易demo的时候不需要下载flink环境就可以本地跑起来。....

文章目录 粒子群算法简介目的原理 本文目标基本环境搭建项目结构V0.5测试版设计思想ConfigPsoFunctionStreamPsoCore Dos....

一、设置ssh免密登录 首先打开mac的系统偏好设置->共享->勾选远程登录 1.打开终端terminal，输入命令：ssh-keygen -t rsa，....

今天给大家推荐一个 Github 上面超火的 SpringCloud 微服务实战电商项目 mall-mall-swarm。 项目适用人群： 初级开发人员，....

用Python完成水仙花数，找素数，山脉数组 这是大数据协会数资部的第一次培训过后的完成的作业。 因为起初是一个Java语言的初....

2021SC@SDUSC 山大软工实践hive(6)-逻辑优化(2) 文章目录 山大软工实践hive(6)-逻辑优化(2)以下接着上一次GroupBy预聚合数....

点击右上角【关注】我们，获取更多前沿科技信息。本文共597字，阅读全文约2分钟关键字：#MacBook##苹果系统##macOS##AppleWa....

MySql数据库锁 原文链接：link Zookeeper注册中心基础：link

从大数据到深数据 总述 ​ 当今为“数据技术”时代、“大数据”时代，万物联网提供了海量的数据，庞大的数据为当今人工智能....

1、加载配置文件工具类 package com.yyds.realime.utilimport java.io.InputStreamReaderimport java.nio.charset.StandardC....

1 RPC 1.通过socket远程调用服务 2 dubbo角色 Provider 服务的提供方（在注册中心注册服务） Consumer消费者（在服务中心订....

实验四：MapReduce中级实践 一、实验目的 通过实验掌握基本的MapReduce编程方法 掌握用MapReduce解决一些常见的数据处理问....