大数据系统知识_大数据系统学习笔记

Transforming DataFrames 本节主要是将pandas处理数据的基本内容，为后面的内容打好基础。 本文大致可以分为探索性分析，数....

文章目录 启动HDFS HDFS shell操作 ls text mv put rm HDFS shell操....

将flume的数据实时发送到spark streaming的部署文档 一、创建数据源文件     echo "hello world" >> /tmp/word.txt 二、....

前几年运营商致力于上云、场景的创新、存量营销这几个维度的能力建设和发展，各个支撑厂家也不遗余力的在这几个方面加足马力....

记录自己对es感兴趣，觉得对es集群优化有帮助的点。 主要以时间为分割点，以后会做一个分类！ 2022-03-26 TODO LIST 分析....

文章目录 业务场景安装下载安装数据库启用row binlog 使用修改配置文件canal.properties配置单个连接配置多个连接配置rabbi....

1.数据仓库 1.1概念 构建面向分析的集成化数据环境 面向分析的存储数据 1.2主要特征 数据仓库是面向主题的集成的非易失的和....

博主介绍：目前在制造业从事数据仓库开发，大数据开发，报表开发。我个人是持续学习者，自我打鸡血者。专注技术分享，主要人....

分布式锁 分布式锁一般有三种： 1.数据库的乐观锁 2.基于redis的分布式锁 3.基于zookeeper的分布式锁 一.基于redis的分布式....

Hadoop之rsync差异性拷贝 1.删除hadoop1003中的wcinput和wcoutput [admin@hadoop1003 hadoop-3.1.3]$ rm -rf wcinput/ wcout....

小伙伴们，你们好，我是老寇 目录 一、前提条件 二、准备工作 三、ELK介绍 四、Kafka介绍 五、日志监控架构图 六、微....

简述MapReduce执行过程？ Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集;Reduce是把两个或更多个M....

1 从一个服务提供者的Demo说起 为了更方便了解原理,我们先来编写一个Demo,从例子中来看源码实现: 1.1 启动Zookeeper 为了Dem....

Kafka启动原命令： /opt/module/kafka-2.12-3.00/bin/kafka-server-start.sh -daemon /opt/module/kafka-2.12-3.00/config/s....

文章目录 HDFS存储原理 冗余数据保存 数据存取策略 数据错误与恢复 名称节点出错 数据....

大数据技术之Hive 1. Hive 基本概念1.1 什么是 Hive1.2Hive 的优缺点1.2.1 优点1.2.2 缺点 1.3 Hive 架构原理1.4 Hive 和....

一、Maven下载 官网： Maven – Welcome to Apache Mavenhttp://maven.apache.org/下载地址： http://maven.apache.org/down....

@junit.Test def mapPartitionsWithIndex(): Unit ={ sc.parallelize(Seq(1,2,3,4,5,6),2) .mapPartitionsWithIndex((i

Springboot+Dobbo项目二11 1.推荐系统解决了什么问题？2.首客价会打八折。3.推荐系统思路：4.基于商品的推荐 ItemCF：5.基于....

知识点1：Blob（Binary Large Object）： 二进制大数据对象 注意：如果下载文件是文本类型的(如: .txt, .js之类的), 那么用r....