大数据知识_大数据学习笔记

注：Elasticsearch使用版本6.6.2 问题再现 （1）Elasticsearch中存储的数据  （2）使用Postman查询张三这条数据、结果....

一、 HDFS小文件弊端 HDFS上每个文件都要在namenode上建立一个索引，这个索引大小约为150byte，这样的话当小文件比较多的时....

文章目录 source source 对于flink sql 中的source 无奈就两种 .流表 比如数据源是kafka 或者mq等动态数据源 维表数据源....

文章目录 ELK:日志收集平台概念图组件介绍1、Elasticsearch： 2、Logstash:3、Kibana:2、环境介绍3、版本说明实施部署1....

前言 工业互联网不是互联网在工业的简单应用，而是具有更为丰富的内涵和外延。它以网络为基础、平台为中枢、数据为要素、安....

简介： 本文主要介绍云知声 Atlas 超算平台基于 Fluid + Alluxio 的计算加速实践，以及 Fluid 是如何为 Atlas 带来全新的数....

python对接kafka有两个常用库：kafka-python，pykafka，前者github star较多，所以选用了前者。 生产者： from kafka import....

摘要：目前，我国城镇污水处理产业已经相对成熟，“十三五”期间国家加大城镇污水处理及再生利用设施建设投资，进一步拉动城....

RabbitMQ是一个在AMQP协议标准基础上完整的，可复用的企业消息系统。它遵循Mozilla Public License开源协议，采用 Erlang 实....

在web项目实战过程中，我们对日志的处理一般有多种方式，直接写到文件、或者直接写入ELK或者直接写入kafka,今天我们分享直接....

定义 Kafka目前主要作为一个分布式的发布订阅式的消息系统使用。Kafka作为一个集群，运行在一台或者多台服务器上.通过 topic....

package com.imooc.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apach

文章目录 1.搭建前准备1.1 ssh免密码登录配置方法1.2 安装JDK1.3 下载并配置zookeeper 2.zookeeper集群搭建2.1 启动zookeep....

我们在eclipse中从HDFS下载文件的时候，报了这样一个错误 原因是没有配置Hadoop的环境变量，但是去配置的话又比较麻烦，所....

每项专题报告都是从2019开始更新到至今，后续将持续更新... 如需查看完整报告和报告下载或了解更多，公众号：参一江湖 今天....

1. Quartz Quartz是由OpenSymphony提供的强大的开源任务调度框架，用来执行定时任务。比如每天凌晨三点钟需要从数据库导出数....

Hadoop运行环境搭建 1.准备一台虚拟机（最小化安装作为模板机） 修改主机名（hadoop101） [root@localhost ~]# vi /etc/host....

elasticSearch的属性的index doc_values h和nested嵌入式使用 需要ik中文检索： "skuTitle": { "type": "text", "an....

RabbitMQ工作模式介绍,交换机Exchange,不同工作模式的代码实现与Springboot整合 工作模式介绍1.工作队列模式2.发部订阅模式....

scp -r /etc/hosts root@ly151:/etc/ scp传输 免密登陆 ssh-keygen -t rsa -P "" 生成秘钥 ssh-copy-id -i .ssh/id_rsa.pub....