大数据知识_大数据学习笔记

elasticjob框架提供的是分布式定时任务分片调度，对于集群的服务，每个实例自身的任务调度自己初始化决定，并不由注册中心控....

文章目录 大数据相关工具Sqoop ETL工具Sqoop简介Sqoop1与Sqoop2架构对比Sqoop安装部署Sqoop的数据导入1. 列出所有数据库2. ....

文章目录 一、部署 K8S1. 环境准备2. 安装 docker3. 配置阿里云 K8S repo 源（三个节点）4. 安装 kubeadm，kubelet，kubectl....

作为一个链开发者来回答这个话题，链游是可以赚钱的，最近找我们做开发链游的客户也很多。 通讯作者：I85382I3I93 作者位于....

上一章介绍了如何安装hive以及hive的基础介绍，这里开始使用hive。使用之前先介绍hive的基础语句的学习，还有什么是内部表、....

文章目录 磁盘存储优化准备知识元数据字段`_all` 索引字段的映射参数`index``norm``doc_values``store` 优化措施 ....

ETH2.0：打破分片 ETH2.0路线图上的下一步将是合并事件，这将推出权益证明，并使以太坊区块链成为以太坊网络上的一个分片。....

利用大数据技术优化城市治理是数字政府建设的题中之义，为构建良好的数据资源共享开放机制，营造德州市大数据的良性发展氛围....

开窗函数，分组排序 rank() over(partition by [field] order by [field] [asc/desc]) --同排名不连续 1 1 3row_nu....

《数据密集型计算和模型》第四章的有关内容。主要有MapReduce模型简介、概念及原理、工作机制、优缺点；基于MapReduce模型的....

2021SC@SDUSC 目录 Compact发起时机 2021SC@SDUSC  在这学期的最后一篇博客将compact收尾 Compact发起时机 上一篇博客已经....

准备工作： 1、准备多个大文件，以备后面使用 2、提前创建好目录和文件上传至linux中 操作步骤： 1、首先先将我们要操作的文....

关于推荐系统的技术架构，我认为应该是作为一个初学者首先需要认识的很明显，推荐算法是属于推荐系统的一部分。 1 推荐系统....

上一篇：spark优化三部曲（一）--瓶颈分析 下一篇：spark-优化三部曲（三）--参数优化 1.优化单个map内的逻辑 我曾经见过....

【实验目的】 1.掌握数据仓库工具Hive的安装和配置； 【实验要求】 1.完成Hive工具的安装和配置 2.Hive工具能够正常启动运行....

题目要求对已给出的数据使用Spark统计每天的新增的用户。 数据如下： 我的思路是：先对数据使用sortByKey算子按照日期....

前文：spark优化三部曲（二）--代码优化_dkk2014的博客-CSDN博客 1.shuffle参数 shuffle参数大都是围绕，单词读写的数据量....

前言 社区在Flink 1.12版本通过FLIP-146提出了增强Flink SQL DynamicTableSource/Sink接口的动议，其中的一个主要工作就是....

股票模拟交易日志（四） 时间：20221年12月7日 主要交易活动：1、卖平上海电力2200手，平仓价：16.2 亏损-68.36      ....

该测试基于2.9.1  使用命令： 1.[hadoop@hadoop-hive2 ~]$ nc -l 44444 2.bin/pulsar-admin sink localrun --archive /da....