栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

开年的第一篇文章 - 关于系统开发的一些有用的中间件与工具包汇总

开年的第一篇文章 - 关于系统开发的一些有用的中间件与工具包汇总

工具包 HPPC

High Performance Primitive Collections https://github.com/carrotsearch/hppc

Hutool

一个小而全的Java工具类库

EasyExcel

JAVA解析Excel工具EasyExcel https://github.com/alibaba/easyexcel/

pinyin4j

https://github.com/belerweb/pinyin4j

stream-lib

实时计算工具库 stream-lib 唯一值计算 HyperLogLog 集合成员测试 BloomFilter Top K 排名 CountMinSketch 分位数计算 T-Digest

Kryo

RPC之序列化篇

args4j 中间件 OpenFeign
  • OpenFeign简介及@FeignClient等注解的使用
apollo

首先,Apollo是我看到的文档很完善的中间件之一。
官网介绍:Apollo(阿波罗)是一款可靠的分布式配置管理中心,诞生于携程框架研发部,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运行,不需要额外安装Tomcat等应用容器。

文档地址

不过,让我比较震惊的是,看到了下面这个。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0mNQxGIZ-1641190378214)(C:Usersjm017775AppDataRoamingTyporatypora-user-imagesimage-20211229151246628.png)]

这个JSON如此熟悉,这不就是之前平安项目开发时,添加修改配置使用的JSON格式么?基本上可以断定平安的DEVOPS 配置管理是使用的类似Apollo的第三方应用接入的方式。

Canal Kafka Hive Hbase Spark ClickHouse Redis DolPhinScheduler WebSocket Presto

【Presto实现原理和美团的使用实践】
https://github.com/prestodb/f8-2019-demo

Hadoop

官网

【使用docker-compose创建hadoop集群】

注意:需要加端口映射,否则本地访问不了,

ports:

  • “127.0.0.1:50070:50070”

基于docker-compose的hive搭建
Presto Start https://prestodb.io/getting-started.html

MapReduce

MapReduce介绍

JAVA 基础

JMX https://www.jianshu.com/p/de85fad05dcb

RMI https://www.cnblogs.com/langtianya/p/4939077.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XWsuwkDr-1641190378216)(C:Usersjm017775AppDataRoamingTyporatypora-user-imagesimage-20211230153942569.png)]

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/695902.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号