
总结: 一.操作系统概述 计算机基础 操作系统简介 二.linux安装: 版本: Linux操作系统=内核+系统软件+应用程序Linux 内核(....
Spark相关内容 1.spark程序与pySpark交互流程 给你一个图 2.Spark-Submit相关参数 spark-submit 命令作用: 用于将spark程序....
spark-submit --master yarn --deploy-mode cluster --driver-cores 4 --driver-memory 2g --executor-cores
1,namenode http端口:50070 2,datanode http端口:50075 3,secondaryNameNode 节点http端口号:50090 4,datanode后端访....
Elasticsearch概述 一、什么是Elasticsearch? 狂神说视频:https://www.bilibili.com/video/BV17a4y1x7zq 参考:https....
场景:通过借助从hive查询全量数据缩短原先从es中查询全量数据所耗费的时间 第一步: 将es中数据全量同步到内部....
1,数据 :vi /home/test/1.txt 2:脚本:vi flink_kafka.sh #!/bin/bashcat /home/test/1.txt | while read linedo ....
SqlServer2008版创建数据库快照 数据库快照就是指数据库在某一指定时刻的情况,数据库快照提供了源数据库在创建快照时刻的只....
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid 1098277....
消息队列有: activeMq、rabbitmq、rocketmq、kafka 根据资料显示从性能和实战中rocketmq 相对来说比较有优势,首先rocketmq....
中集飞瞳ceaspectusG™超级智能闸口独树一帜集装箱箱况残损识别,高识别率99.95%,高实时性3s过闸。ceaspectusG™在港口码头....
以下所需要的压缩包已通过百度网盘分享(提取码fgfa): hive安装包,提取码fgfahttps://pan.baidu.com/s/12RvjPUHWGG-KCZ74wJUV....
各大主流自媒体平台早已打破BAT(腾讯,百度,阿里)的霸主地位,成为移动互联网流量的新兴贵族。各类自媒体视频和图文平台,....
redis与mongodb之间的交互 import redisfrom pymongo import MongoClientfrom json import loads# 连接redis数据库r_client ....
一、配置文件说明 配置文件是 DM 数据库用来设置功能选项的一些文本文件的集合,以 ini 为扩展名,它们具有固定的格式,用户....
fabric框架繁杂的部署过程,会出现各种意料之外的错误,由于错误提示不明确,往往很简单的一个疏忽都会浪费大量的时间去找出....
大数据的核心模块有很多,像Hadoop、spark、kafka等都是比较重要的,但也不仅仅只是这三块。今天我们就来了解一下Azkaban,....
因为项目环境限制,流处理引擎只能使用阿里云 Blink3.3.0 版本,翻阅阿里云官网 Blink 和 GitHub Flink 的Blink分支资料,成....
系统数据流程设计 Nginx(反向代理)的作用 我们再进行网页请求的时候,得指明地址,得告诉我地址是什么。客户端client发送....
业务要求,近期集群要使用zookeeper集群,准备在Kubernetes实现。 方法一: 使用pv和pvc 来挂载 这个同时创建pv和pvc [root....