0 引言 某些业务场景下我们需要使用特殊符号来进行查询，但是es的默认分词器以及ik分词器等大多数分词器都会将特殊符号过滤....
Docker 安装 ES 因为是测试需要，所以跟公司版本保持一致即可 sudo docker pull elasticsearch:7.4.2sudo mkdir -p /data/es....
1. map def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.clean(f) new MapPartitionsRDD[U....
Spark四大特点 1-运行速度快： 方面一：spark是基于内存计算的，采用DAG有向无环图进行无环计算操作，中间计算的结果可....
python单线程循环读取consumer会很浪费时间，而且速率远远低于生产者可容纳的速率，因此我们使用多线程来处理IO密集型的读取....
【报错一】 Scala文件编译报错： 【报错原因】 Scala自2.11版本开始，移除了弃用的-make选项（https://groups.google.com/f....
一·Pands的数据结构分析 Pandas的两个主要的数据结构：Senes和DataFrame (一)1·Series是一个类似一维数组的对象，它能够保....
创建RDD的方式可分为四种： 1.从集合（内存）中创建 2.从外部存储（文件）中创建：本地/HDFS 3.从其它RDD创建，一个RDD运....
文章目录 服务注册服务发现心跳机制常见的注册中心consulclientserverserver-leaderraft服务发现协议服务注册服务发现 eur....
《企业IT架构转型之道》读书笔记 前言 最近在拾起一些琐碎的知识点。故准备把以前看的相关书籍笔记整理一番。 《企业IT架构....
ElasticSearch启动报错如下： 2022-03-06 17:22:07,358 main ERROR RollingFileManager (/home/software/elasticsearch-7.17....
![[机器学习与scikit-learn-6]：数据集获取的主要方式-2-计算机生成数据集](http://www.mshxw.com/aiimages/31/752845.png)
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址：https://blog.csdn.net/H....
1、中间件消息传递可能出现的问题 从上图我们可以看到，使用生产者、消息中间件、消费者在进行消息传递时会涉及很多重要的....
文章目录 maven pom表对应实体类Druid数据库连接池Mysql sink端Kafka source端 maven pom UTF-8 1.11.2....
order by 全局排序. 会固定使用一个 reducer 来处理数据, 当数据量特别大时, 容易内存溢出, 推荐搭配 limit 使用 sort by 在....
hbaseAPI方法： API本质就是调用对象的方法去实现的。 ddl的概念是对表的操作和对外面的大的操作，ddl都是去调用admin对....
安装Kibana： Past Releases of Elastic Stack Software | Elastic 下载对应版本的Kibana，上传Linux服务器，解压/home/so....
elasticsearch ARM架构集群搭建 一、搭建环境 搭建服务器IP环境es版本号路径20.10.0.xxCentOS Linux release 7.9.2009 (AltA....
默认情况下，Spark可以将一个作业切分多个任务后，发送给Executor节点并行计算，而能够并行计算的任务数量我们称之为并行度....
文章目录 一、Hive 数据仓库的操作1、创建数据仓库2、查看 db 数据仓库的信息及路径3、删除 db 数据仓库 二、Hive 数据表的....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
