大数据知识_大数据学习笔记

error: GLSL 4.30 is not supported. Supported versions are: 1.10, 1.20, 1.30, 1.00 ES, 3.00 ES, 3.10 ES, and 3.20 ES Shad

启动hive报错如下信息 这是由于缺少配置环境造成，解决方法如下： 输入指令vi /etc/profile编辑系统环境变量，在最下面添加....

Hive JSON数据处理 一、使用内置json解析函数 1、方式一：使用JSON函数来处理 函数1：get_json_object 函数2：json_tuple ....

操作步骤： 1、首先在IDEA中对编写好的程序进行打包 点击Maven中的package，进行打包。等待一会。 这样jar包就打包好了，....

win下Elasticsearch的下载安装 下载 可通过官网进行下载：https://www.elastic.co/cn/downloads/?elektra=home&storm=hero ....

来看一道互联网公司的面试题： 有个用户好友表：字段如下uid fans_uid score返回：uid, fans_uid_list【fans_uid的拼接串....

2021SC@SDUSC

作为中国国民经济和社会发展的生力军，中小企业是建设现代化经济体系、推动经济实现高质量发展的重要基础，也是扩大就业、促....

**大数据技术生态体系： Hadoop是什么： ** 1·分布式系统基础架构 什么是分布式系统 100T的文件 由100个服务器存储 ....

1、所有的配置存储在一个ConcurrentHashMap中，名为settings。   2、Spark的参数配置有以下三种获取。         ....

最近在学习Flink ，在看到Flink的重启策略机制时感觉这个设计很好。 第一个是固定延迟重启 间隔1分钟，尝试三次，这是我们经....

分区数量设置 目录 分区数量设置  分区数据分配策略 //创建RDDval rdd1 = sc.parallelize(seq)  parallelize方法源码： de....

最近闲来无事看见了这则帖子        看到这则帖子就好像看到了过去的自己，感觉未来一片迷茫，面临选择也犹犹豫豫，做....

1、跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在 2、NameNode返回是否可以上传 3、C....

面对挑战，传统数据遭遇天花板 海量数据的高存储成本数据批处理性能不足流式数据处理能力缺失有限的扩展能力单一的数据源数....

今天的 EB 级大数据为捕捉推动创新的洞察提供了无数机会。从更准确地预测到提高运营效率和更好的客户体验，大数据和复杂的分....

基于Docker的Hadoop全体系架构入门指南 前言目录涉及软件及其版本（下载） 前言 开个大坑。 大数据架构涉及到很多软件的安....

一：场景复现 我们A服务在调用B服务（订单服务），进行订单查询的时候，B服务查询ES报错。 二：问题排查 1.报错问题 A服务报....

@AllArgsConstructorpublic class DirectProducer { private final RabbitTemplate myRabbitTemplate; private final Stri

今天hive在执行的时候出现了报错，内容如下： Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain....