大数据系统知识_大数据系统学习笔记

上一节写了最简单架构的搭建和日志采集：传送门 主要有这几种架构方式 1. Elasticsearch + Logstash + Kibana 每台机器（客....

Hadoop框架下 本地模式测试 在测试之前确保你的虚拟机已成功安装好了 hadoop框架 （在命令行输入 Hadoop version） 如上显....

文章目录 前提概要IDEA安装Gradle插件&导入工程创建ES的Home目录修改配置文件配置启动参数启动工程&验证坑&解决办法参考资料....

1.下载zookeeper安装包3.4.14 wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz....

学习了图计算的计算框架，也阅读了国内国外的一些文献，发现图计算在电信业真的有着广泛的应用。特别是图的一些算法，比如cl....

1 MapReduce简介: MapReduce是一种在cluster上为了处理大数据集，使用并行，分布式算法的编程模型（什么是cluster请看上篇文....

ETL 1.ETL简介 ●将数据从业务数据库经过抽取(extract) 、转换( transform)、加载(load) 至ODS层的过程 ●整个ETL的实施占的....

我们可以轻松用@DubboReference调用dubbo注册中心里面的服务，其实Dubbo为背地里为我们做了很多事情，下图为调用栈 1、创建....

插槽的分配 波卡预计分配100个插槽给平行链介入，但是不会一下子就拥有 100 个插槽，而是逐步扩大网络，随着时间的推移引入....

如果下载使用其他版本，注意elasticsearch和kibana 版本需要保持一致 亲自实践，可以非常快速安装搭建，如果安装过程有什么....

1.问题描述： es组合查询时报错 报错信息： { "error": { "root_cause": [ { "type": "query_shard_except....

@Test public void createIndex() throws IOException { Request getRequest = new Request("put", "/20220327001....

MQ总结 MQ是什么 MQ（Message Queue）消息队列，是基础数据结构中“先进先出”的一种数据结构。一般用来解决应用解耦，异步....

离线电商数仓3.0的即席查询笔记 kylin的简介与架构 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQ....

关于hive源码解读整个流程是参考了名为寒暄的csdn了的，可以过去看一下他的博客https://blog.csdn.net/qq_41106844/article/....

数据安全的背景 数据安全是指通过采取必要措施，确保数据处于有效保护和合法利用的状态，以及具备保障持续安全状态的能力。 ....

安装kibana kibana是elasticsearch图形化界面 下载 Kibana 6.2.2 | Elastichttps://www.elastic.co/cn/downloads/past-rele....

#spark on yarn 和SparkjobHistory配置和常见erro 感谢开源和各位前辈对知识的无私奉献 希望我的这篇文章，能对您有所帮助 ....

1. 课程介绍和计算机基础 课程体系： ​ Linux入门 ​ Linux系统管理 ​ Linux服务及安全管理： ​ httpd，lamp，lnmp ​ c....

flink使用检查点时，保存在hdfs上的路径，导致报错 Could not find a file system implementation for scheme 'hdfs�....