大数据知识_大数据学习笔记

Kubernetes：1.15 Kubernetes宿主机：CentOS Linux release 7.7.1908 NFS服务：IP地址192.168.50.135，文件夹/volume1/nfs....

总结工作中用到的SQL 热门SQL处理时间的函数字符串转换为日期格式将时间、日期转换为字符串 日期转换函数、时间转换函数**ti....

记录一下日期查询问题 "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"# 创建索引PUT my_date1{ "mappings": {....

1、StandAlone的执行模式 1.1.client模式 Spark stand alone提交到集群中，默认的模式为client模式，默认参数是 --deploy-mo....

今天给大家一次性准备了30张酷炫美观，且实用频率极高的的可视化大屏模板，获取方式在文末，可自行获取。 1、年度KPI指标分....

SparkCore常用行动算子汇总 【reduce，collect，count，first，take，takeSample，takeOrdered【拿到有序的几条数据】，coun....

在大数据时代，“数据治理”对所有拥有大量数据的公司来说都是一个挑战。业内还流传着“数字转型，治理先行”的说法。越来越....

基本原理：对于K个关键字和n个槽位（分布式系统中的节点）的哈希表，增减槽位后，平均只需对K/n个关键字重新映射。 实现容错....

之前写过一篇文章分析Spark Shuffle的原理，知道了Shuffle是性能杀手的原因，但在实际业务中，Shuffle操作通常不可避免，毕....

安装配置好spark后，在主节点worker启动成功 然后在另外两个节点启动master，发现起不来报错  然后查看日志  报错是提....

一、数据湖定义 下面是维基百科对于数据的定义： 其，大概的意思就是将没有经过清洗的等操作的原生数据，将这些数据进行相....

如需查看完整报告和报告下载或了解更多，公众号：参一江湖   宠物、萌宠-专题资料​-2021月度新增6份（9.20-10.31） 202....

参考视频 【狂神说Java】ElasticSearch7.6.x最新完整教程通俗易懂　P13. 【狂神说Java】ElasticSearch7.6.x最新完整教程通俗....

区块链应用判断准则 在普遍的印象中区块链技术一般都运用在数字货币和密码货币上，其实区块链有更多运用场景，比如医疗领域....

1，创建表格 create table stu(name string,hobby array,scores map)row format delimitedfields terminated by ',....

这篇文章就当是我存储关于flink的一些链接了 深入解读flink sql cdc的使用以及源码分析 Canal原理及其使用 Canal-Admin-Qui....

1 NN和2NN的作用概述2 基本原理3 NN元数据信息维护到哪里?4 数据同时维护到磁盘和内存带来的问题4.1 如何保证内存和磁盘数据....

在hbase上使用过滤器查询可参考： (73条消息) 在Hbase使用过滤器（行键过滤器、列族与列过滤器、值过滤器）_小镭敲代码的博....

人工智能早在20世纪50年代就已经出现，尽管如此，直到最近10年，软件开发人员才能如愿以偿地将 AI 构建到应用程序中。编程语....

一.修改虚拟机的网络配置 打开虚拟机主页编辑  然后点击更改设置，选择NAT模式，打开NAT设置  二.修改windows的网络配置....