
5.3 Log replication Once a leader has been elected, it begins servicing client requests. Each client....
目录 一、日志分析系统ELK实战1. elasticsearch 简介2. 基础模块3. elasticsearch应用场景 二、elasticsearch安装与配置三....
1. UDF 在 Hive 中,我们实现的 UDF 必须将方法命名为 evaluate ,而 Spark SQL 中却没有这么无理的要求,我们可以根据所需....
Spark dataframe 学习笔记 前言 在处理PB级的数据时,有时候会使用到pyspark来分析数据,首先贴上官网链接 有问题先去官网看....
WordCount词频统计 词频统计 WordCountMap.java // Map类,继承于org.apache.hadoop.mapreduce.Mapper;public class Word....
接上篇Node.js个人学习笔记 上篇Node.js个人学习笔记rabbitmq(本地服务自行安装)1.中间件2.配置及封装3.接口4.测试 上篇Nod....
请先自行安装jdk kafka下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz tar -x....
Linux下安装包 jdk: 链接:https://pan.baidu.com/s/1rOaXHBsA9IlnwUREfjJARA 提取码:qh9s zookeeper: 链接:https://pan....
前言 如果我们此时需要往redis导入大量数据,如果能快速操作?? 一行一行的命令加入的话耗费往返时间 使用管道可以节省往返....
1.driver宕机 (1)如果job运行在client:程序直接挂了 (2)如果job运行在cluster: -》spark on standalone/mesos:通过sp....
近期刚刚在NeurlPS-21上发表了一篇文章,用于分子性质预测的图预训练策略。 本文亮点在于①提出一套分子破裂的方法;②提出....
每当采购云服务的时候,客户都说要安全,很多人困惑,啥才是安全,咋就不安全了? 当出现下面的情况,客户觉得会觉得不安全....
Hadoop技术集群安装 参考文档: python基础操作以及hdfs操作 - Simon92 - 博客园 https://blog.csdn.net/qq_23043541/articl....
zookeeper常用命令 启动zookeeper命令 zkServer.sh start conf/zoo.cfg 连接zookeeper命令 zkCli.sh -server localhost:2181....
写在前面,本篇示例是笔者实践所得,如果不当烦请及时沟通,共同学习。 文章目录 写在前面,本篇示例是笔者实践所得,如果不....
日志的作用 日志记录主要用来监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析工作;跟踪代码运行时....
1、导入es的python库 from elasticsearch import Elasticsearchfrom elasticsearch.helpers import bulkfrom elasticsearch ....
HIVE如何修改默认端口 方案一:在配置文件中修改方案二:在启动的时候指定端口 由于服务器网络安全策略限制,hive 的serv....
大数据技术原理与应用 第三版 林子雨 期末复习(一)大数据概述 第一章 P2 大数据概念(4V)三次信息化浪潮(每隔15年发生一次)....
hdfs有很多命令,比如说hdfs dfs -ls,hdfs dfs -put, hdfs dfs -mkdir,hdfs dfs -cat,hdfs dfs -rm等等,一般操作hdfs都....