大数据知识_大数据学习笔记

ES进阶笔记—集群搭建 一. 集群搭建①. 创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务②. 修改集....

1 前言         纹理贴图是指：将图片贴在模型的表面。         纹理贴图的本质是：将图片划分为一系列三角形，使得....

第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn ....

版本：Flink 1.13.2 - 2021-08-02 Standalone 独立模式的集群： Standalone 独立模式的 Flink 集群不支持 Per-Job Mode 作....

报错： 解决 ：切换到配置文件server.properties中存放kafka日志的目录，修改meta.properties文件中的clusterId为日志文件....

文章目录 Hadoop集群搭建1.安装Hadoop软件包2.配置Hadoop运行环境3.配置全局参数4.配置HDFS参数5.配置MapReduce参数6.配置ya....

Kafka Tool是一个用于管理和使用Apache Kafka®集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafk....

今天在学习MapReduce中FileInuptFormat对文件切片的源码时，发现一个问题在本地windows运行时默认Block大小是32MB在集群上是....

数据库概述 数据库 Database,存放数据的仓库 永久存储；有组织、可共享的大数据的集合 数据库管理系统 DBMS，专门用于实现对....

windows下hadoop对lzo的支持 背景 下半年学习大数据，首当其冲，先学习了hadoop 学习hadoop的过程可谓是艰难重重 其中最麻烦....

1.13包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候，这些改动可以使用户可以更好的分....

[2021-10-30 12:18:20,730] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) k

在做项目的时候需要读入pkl类型的数据，用了一行代码pk=pd.read_pickle(name)，结果报错了。 之前在读csv或者从mysql读数据....

zookeeper代码编写环境配置，网络好的朋友可以让IDEA自动加载，不行的话我们也可以手动加载。再编写代码监听zk服务器，idea....

李制作不易，各位大佬们给点鼓励！ 李点赞 ➕ 收藏⭐ ➕ 关注✅ 欢迎各位大佬指教，一键三连走起！ 1、 Ha....

AI代替人工拓客，降低您的人工、时间、帐号成本，全方面覆盖各平台你所需要的所有客源，任何行业都可以实时抓取，精准引流 ....

目录 背景 为什么只用ES相似度匹配不行 解决同一意图不同表达的问题  “粗筛”+“精选”的意图匹配方案 背景 在对话系统....

Apache Hive中默认的创建的表为非事务表，如果需要将表设置为事务表需要修改以下参数：     hive.support.concurrency ....

1.说明 Hive的常用计算引擎有MR、Tez和Spark，本篇博客主要是基于MR和Tez的参数调优，由于Hive的任务是在Yarn上提交的，所以....

1、HDFS高可用配置        2、配置YARN高可用    3、HBASE前期配置已经HA高可用了