大数据知识_大数据学习笔记

大数据平台介绍 大数据基础平台对大规模数据集（海量数据），提供底层分布式计算和分布式存储技术，可以扩展到数以千计的存....

10月26日下午，在2021人工智能计算大会(AICC 2021)上，中国工程院院士、浪潮首席科学家王恩东表示，人工智能的规模化发展，....

spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资....

一、hive分区      分区操作属于hive操作的重量级操作      分区在hdfs上物理结构是目录      非严格模式：no~ 表....

MapReduce MapReduce，是hadoop中集群数据处理的核心，主要分为映射和减速两部分，映射就是Map部分，减速就是说的Reduce阶段....

本文介绍了python发送和接收大数据的思路： 发送方提供要发送数据的长度，接收方根据数据长度，循环接收数据，直到全部接收....

hbase启动失败问题解决 1.查看：输入命令jps，能看到NameNode,DataNode和SecondaryNameNode都已经成功启动，表示hadoop启动....

在dubbo-admin-0.0.1-SNAPSHOT.jar的路径下启动dubbo，java -jar dubbo-admin-0.0.1-SNAPSHOT.jar dubbo-admin-0.0.1-SNAPS....

文章目录 一、JDK安装**简介**：安装步骤：1、下载JDK2、解压JDK3、创建软链接4、把压缩包删掉5、配置环境变量6、source更新....

这篇博客是博主学习的笔记，可能说的不是很清楚，也可能会有错误，多担待 AMQP协议 AMQP（Advanced Message Queuing Protoc....

一：自动提交 //开启offset自动提交properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"false"); 缺点：先提交offse....

使用from+size存在的问题？ 由于ES单次查询数据上限1W条，正常查询1W条后程序会异常，ES提供了scroll-api来解决 例子：基....

docker安装RabbitMQ 查看仓库里的RabbitMQ docker search rabbitmq 在这里插入图片描述 安装RabbitMQ docker pull rabbitmq....

场景：由于配置es之后服务器内存负载过高。 原因：初步原因是es内存暂用过高。 处理：修改es的配置文件jvm.options，根据服....

mysql与es实时同步之数据库双写 简介第一步-获取更新第二步-同步es 简介 当在对mysql表进行insert，update时，同时使用es ap....

hadoop集群中jar包的编辑or执行 jar入门篇 前提： hadoop集群已经搭建成功，并启动hadoop 启动hadoop命令：start-all.sh 在....

hive的nvl函数使用对于bigdata类型和int类型 1 如果建表语句是int类型，hivesql中使用了nvl（字段，0）则有数据返回的也是0....

Centos 7 环境安转、配置Java、Hadoop： https://note.youdao.com/s/Bk3A4tEN

计算技术的进步，以及移动互联网、物联网、5G移动通信技术的发展，引发了数据规模的爆发式增长。大数据蕴含巨大价值，引起了....

产业数字化是指在新一代数字科技支撑和引领下，以数据为关键要素，以价值释放为核心，以数据赋能为主线，对产业链上下游的全....