大数据知识_大数据学习笔记

记一次hive on spark任务运行过程中报错Connection to remote Spark driver was lost 报错信息如下： org.apache.hive.servi....

中国工程建设行业现状规模与十四五发展目标分析报告2022-2028年版   第1章：中国工程建设行业发展综述1.1 工程建设行业定义....

查看已经开放的端口 firewall-cmd --list-ports  1 开启端口 firewall-cmd --zone=public --add-port=80/tcp --permanent ....

最近在学习一个新开源的 Maven 项目时候，执行 clean、package 的时候都没有问题，但是在执行 install 时候，报一下错误： ....

去年11月下旬以来，铁矿石价格持续上涨，累计涨幅已达50%。这里面虽然有年底钢厂冬储补货的拉动因素，但总的来看，价格短期....

内存使用最佳实践： 关键在于资源情况能不能抗住高峰时期每秒的数据量 JM2~4G 足够 单个 TM2~8G 足够 numberOfTaskSlots 与....

Hadoop压缩数据流程 hadoop中有三个阶段可以用到压缩，分别是Map，Shuffle和Reduce，其中Map阶段首先对输入的数据进行压缩....

大家好我是小不点，接下来就由我为大家讲解什么是公募什么是私募，喜欢的朋友可以点赞关注谢谢大家！ 什么是公募？ 在现实生....

一、elasticsearch安装启动 环境：centos 6.5 1.官网下载安装包 https://www.elastic.co/cn/downloads/ 2.下载解压即可使用 ....

es 很强大，合适的mapping，才能更大发挥它的优势，使用es前，需要对mapping进行详细的了解，以便在使用中，根据实际情况去....

一、 首先在cmd中输出 netstat -ano，用来查看所有端口占用情况（以8080举例） 二、 在弹出的命令窗口中输入命令 netstat -....

客户痛点 餐饮连锁经营企业中，每日门店营业额上报总部是经营管理的重要一环。 门店的直接管理人员需要通过该数据了解当日....

目录 前言 代码实现 1、引入依赖 2、异步消息与异步延迟消息生产者工具类-RocketMqUtil 3、MQ常量配置：消息主题、消息标签....

HBase HBase行锁机制，保证对单行数据操作的原子性。 ClickHouse 基本概念 数据的基本映射单元：一列数据用Column表示，一列....

Stackelberg game 双寡头模型（duopoly models） 这个博弈的两个参与者分别是leader和follower，它们进行的是数量竞争。lead....

操作Elasticsearch语句 GET _analyze{ "analyzer": "ik_smart", "text":"张三丰北京"}GET _analyze{ "analyzer": "ik_max....

参考Kafka消息时间戳(kafka message timestamp) 1 Kafka消息的时间戳 在消息中增加了一个时间戳字段和时间戳类型。 目前支持....

很长时间没有分享过学习心得了，看了下发布记录，最后一篇文章的时间都在2020-12-10年了，今天抽时间整理下一个很早就想整理....

日前，中国人民银行正式印发《金融科技发展规划(2022-2025年)》，明确提出要“加快金融机构数字化转型”。对于金融企业而言....

模拟aws中级联查询 一、需求二、设计1、背景2、思路 三、Java代码实现四、DSL表达式五、前端拼接 DSL 字符串六、Java使....