大数据知识_大数据学习笔记

CentOS7.x安装Elasticsearch环境，为了减少在运行时出错，需要提前对服务器进行一些配置。 安装环境 CentOS 7.xJDK 8Elastic....

docker-compose 部署EFK 这两天在搭建EFK（Elasticsearch+fluentd+Kibana） EFK是什么？？？ EFK不是一个软件，而是一套解决....

HBase快速入门 1. HBase安装部署 Zookeeper 正常部署 [codecat@hadoop102 zookeeper-3.5.9]$ bin/zkServer.sh start[codeca....

一、背景：做物联网项目，需要用MQ做消息队列做缓冲，选择了使用kafka，部署在公网环境，部署kafka后没有设置登录验证，刚刚....

1、logstash安装准备 　　logstash是基于java语言开发，所以先安装JDK。logstash 7 目前只支持 Java8 或者 Java 11，安装前....

本文日志收集流程： k8s 使用 daemonset 创建 filebeat 服务；filebeat 发送日志到 kafka；logstash 收集 kafka 接收到的日....

懒得自己一个个去写了 , 直接上官网, https://spark.apache.org/docs/2.4.5/api/sql/index.html添加链接描述

1.1 算数运算符 变量名++ / ++变量名（自增1） 变量名-- / --变量名（自减1） 如果（++放在变量名前，则是先++再赋值 ++放在....

前提条件：linux虚拟机已经安装了java jdk 安装准备：zookeeper安装包置于/opt/install 目录下（没有该目录则创建mkdir /opt....

MapReduce 计算框架 —— 执行流程 1、Map 框架解释2、Reduce 框架解释3、小知识——企业集群规划4、框架的执行细节5、运行....

背景:最近需要根据parquet文件来解析schema信息，便参考学习了sparksql中infer parquet schema的相关代码 一、infer schema....

何为倒排索引，要理解倒排索引的概念还要结合着正向索引一起理解，当我们深入了解mysql的索引之后，我们就对所谓正向索引有....

部署  使用版本：apache-livy-0.7.1  环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos  ....

一、优点： 解耦 A系统和B系统不必了解对方，只需要确认消息；不必同时在线 削峰 异步 发布pub和订阅subg模式下，可以完成一....

本系列目录 文章目录 1. RedisRedis集群模式你知道redis哪些高级功能？使用场景？Redis如何清理过期key1. 怎么判断过期？2.....

在讲文本搜索之前，我们需要先知道文本的倒排索引是如何构建的。我们都知道es文本常用的两种数据类型keyword， text，这两种....

ES仿京东搜索 爬取京东数据 public class HtmlParseUtil { /* public static void main(String[] args) throws IOExcep....

出现这个问题是因为 elasticsearch 配置密码以后 logstash启动时连接 es 遇到认证问题，解决方法需要在logstash 配置文件中....

远程拉取docker pull mysql:5.7docker pull java:8-jredocker pull redis:alpinedocker pull sonatype/nexus3:latestdocker ....

上篇 基础实验篇 实验1 部署全分布模式Hadoop集群 实验2 实战HDFS 实验3 MapReduce编程 实验4 部署ZooKeeper集群和实战ZooKe....