大数据知识_大数据学习笔记

随着互联网形态的发展，我们看到越来越多平台都在做UGC内容营销。 例如，以女性穿搭美妆为主题的小红书，以小众视频内容冲向....

https://blog.csdn.net/u013200380/article/details/106453013/ 1. kafka日志清理策略概述 kafka log的清理策略有两种：dele....

Kafka命令集合 设置脚本启动kafka vi kafka-server-start.sh #编辑，添加以下代码 #!/bin/sh#启动zookeeper/usr/local/kafka....

思路 ES 的性能优化，主要是围绕着fileSystem cache。也可以叫做OS cache来进行；es写入数据实际上数据最终都会写入到磁盘中....

互联网时代飞速发展，直播经济异军突起，闯入了大众的视野中。而受到疫情的影响，更是让直播经济驶入了“快车道”。目前，直....

spark（四） 一、RDD转换算子1、单Value类型1.1、repartition1.2、sortBy 2、双 Value 类型2.1、intersection2.2、unio
....

本文作者：平台业务研发部-武伟峰，数据与智能部-李阳 背景 在日常工作中，我们通常需要存储一些日志，譬如用户请求的出入参....

Flink Sink Mysql 简单实现 环境解析完整代码源码下载 环境 简单实现从一个数据源获取数据，根据特定标识字段，将数据sink....

双十一狂欢节过后，各大企业、品牌捷报频传，相关行业也迎来一年一度业务高峰。我国智慧物流领域TOP级企业、全球AMR引领者极....

万能码创造更多希望（安全扫码专业委员会） 万能码被研发的最初目的是为了帮助实体商家经济增长，鼓励实体经济发展，旨在提....

1、创建索引+ik分词器 public function createEsIndex($indexName) { $

shopee现在还能做吗？ 先听下我的故事。 这个问题也是任何一个新手问的第一个问题 如果是跨行业的话，更是心里没底，这让我....

第一个mr程序 单词统计 import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.ha....

#!/bin/bash#******************************************************************************#所属主题: 支付主题域#功能....

简介： 本文作为混部实践系列开篇，本篇文章将介绍资源隔离技术在混部中的重要性、其落地挑战及我们的应对思路。 作者：钱....

Flink Sink Mysql 简单实现 环境需求解析完整代码源码下载附：flink-cdc 环境 组件版本scala2.12netcat*kafka*mysql*flink1....

目录 一、ELK日志分析系统简介 1.日志服务器 2.ELK日志分析系统 3.日志处理步骤 二、Elasticsearch的介绍 1.Elasticsearch的....

//#按照目的地进行分桶统计 GET kibana_sample_data_flights/_search {     "size": 0,     "aggs":{         "....

日是收集redis作为存储 1. redis的安装2. 配置nginx的日志格式json3. filebeat的配置文件4. logstash的配置5 filebeat收集日....

1. 环境准备 新建项目后在pom.xml中添加依赖：     org.apache.hbase     hbase-server     1.3.1     o....