大数据知识_大数据学习笔记

一、设备情况 1.硬件设备 X86服务器、小型机、大型机 X86应用场景：多作为集群使用 小型机应用场景：手机银行系统 大型机应....

登录服务器并创建自己的虚拟机 学校服务器地址为：10.13.0.21~10.13.0.29，每一个IP对应着是不同配置的主机，在新建自己虚拟....

文章目录 一、什么是死信队列？二、死信出现的情况三、什么是TTL？1. 队列设置TTL2. 消息设置TTL 四、死信队列1. 原理2. 实....

#!/bin/bashjdk=truezk=truehadoop=truehostname=`hostname`echo "current host name is $hostname"whoami=`whoami`echo "cu....

编辑脚本 [root@mihaoyu151 ~]# ll /opt/install/total 773684-rw-r--r--. 1 root root 433895552 Oct 25 17:59 hadoop-2.6.....

hive内置函数 在Hive中，函数主要分两大类型，一种是内置函数，一种是用户自定义函数。 函数查看 show functions;desc funct....

SparkSQL编程读写Hive数据源 一、准备工作二、任务分析三、编码实现五、运行测试 一、准备工作 实验环境：IDEA + CentOS7 ....

文章目录 kafka环境搭建单节点集群 kafka环境搭建 测试环境 centos 7.8.2003 JDK安装 下载地址： https://www.oracl....

一、前情提要 前面两篇文章我们已经成功搭建了Hadoop以及安装了Hive，Sqoop和Mysql数据库，现在我们就来利用Hadoop尝试做....

例如我们有一个基于用户(userId)对物品(itemId)进行打分(vote)的数据源 然后我们想根据用户的协同过滤算法计算某用户的TopN....

配置集群时，zookeeper节点启动失败的问题 1.用zkServer.sh start 指令启动集群后后，zkServer.sh status指令查看节点状态，....

部署单点es 创建网络 需要让es和kibana容器互联，创建一个网络： docker network create es-net 加载镜像 elasticsearch镜像....

推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有....

在做业务需求的中，由于对kafka 不够熟悉，导致出现了事故，通过这篇博客与大家分享一下在做整个需求，以及解决问题的过程。....

目录 2021.06.18：FM（Factorization Machines）FFM（Field-aware Factorization Machine）Wide & DeepWide：记忆能力Deep：....

作者基于多年的大数据处理经验，当前管理着100PB+数据仓库和2000+节点的集群。持续系统化给大家分享一下关于数据仓库建设的....

CronMan 分布式任务调度/定时任务系统 github地址：CronMan， 欢迎star 欢迎朋友们站内私信交流~ 简介 CronMan是一款轻量级....

目录 1. 概述1.1 背景1.2 目的1.3 数据说明 2. 相关概念2.1 事件2.2 生存时间2.3 删失2.4 生存概率2.5 中位生存时间2.6 风....

移动开发技术（Android）——实验8 SQLite数据库的使用 一、实验目的二、实验内容（1）创建2个Activity（2）界面构成① 主界....

启动时使用： ./sbin/start-all.sh 1 报错： java.net.BindException: Problem binding to [test7972:9000] java.net.Bind....