栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java基础巩固-宇宙第一AiYWM:为了维持生计,手写RPC~Version07(RPC的序列化框架们、网络协议框架们)整起

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java基础巩固-宇宙第一AiYWM:为了维持生计,手写RPC~Version07(RPC的序列化框架们、网络协议框架们)整起

上次Version06说到了咱们手写迷你版RPC的大体流程,咱再看看人家一次完整的RPC调用流程是怎样的?

  • RPC,个人感觉,说到底RPC就是一个远程通信的方式嘛,那对于通信来说,我觉得可以和发快递类比一下,最重要的就是两点:
    • 第一点,谁帮咱们来传,肯定是快递点帮咱们往过传,至于是坐火车、飞机、汽车还是人家自己送,咱不管(肯定是网络协议帮咱们传呀,因为 RPC 用于业务系统之间的数据交互,要保证数据传输的可靠性,所以它一般默认采用 TCP 来实现网络数据传输)
    • 第二点,送,处于对于数据的安全性或者完整性考虑(网络传输的数据必须是二进制数据,可是在 RPC 框架中,调用方请求的出入参数都是对象,对象不能直接在网络中传输,所以需要提前把对象转成可传输的二进制数据,转换算法还要可逆,这个过程就叫“序列化”和“反序列化”。),要对咱们要送的东西进行包装,也就是序列化。
      • 另外,在网络传输中,RPC 不会把请求参数的所有二进制数据一起发送到服务提供方机器上,而是拆分成好几个数据包(或者把好几个数据包封装成一个数据包),所以服务提供方可能一次获取多个或半个数据包,这也就是网络传输中的粘包和半包问题
        • 为了解决这个问题,需要提前约定传输数据的格式,即“RPC 协议”。 大多数的协议会分成数据头和消息体:
          • 数据头一般用于身份识别,包括协议标识、数据大小、请求类型、序列化类型等信息;
          • 消息体主要是请求的业务参数信息和扩展属性等。

PART1:网络协议:我们的通信框架基于Netty进行设计和开发。

  • RPC层中的底层通信框架:
    • RPC通讯协议
    • http
    • http2.0 (gRPC)
    • TCP
    • 同步/异步阻塞/非阻塞
    • WebService
  • step1:我们首先得分析,:长连接?NIO?NIO选好使用JDK提供的NIO库还是直接集成开源的NIO框架Netty?通信框架中一些技术点的选择
  • step2:选择好通信框架中的技术点之后,咱们要开始考虑设计细节:
    • 通信框架服务端:
      • 1)提供上层API(屏蔽底层NIO框架),用于初始化服务端实例,设置服务端通信相关参数,包括服务端的I/O线程池(线程组参数)、监听地址、TCP相关参数、接收和发送缓冲区大小等。(一般服务端设计时,服务端只提供上层的API,不与任何具体协议绑定;另外服务端提供给用户的API要尽量屏蔽底层的通信细节,防止底层的变更引起上层级联变更。例如Netty3升级到Netty4,整个包路径都发生了改变,如果在底层屏蔽了Netty接口,上层不受影响。服务端功能上不要求全,重点在可扩展性上。)
        • 利用Netty提供的NIO服务端类库,可以非常轻松地实现通信框架服务端的开发。Netty为了向使用者屏蔽NIO通信的底层细节,在和用户交互的边界做了封装,目的就是为了减少用户开发工作量,降低开发难度。ServerBootstrap是Socket服务端的启动辅助类,用户通过ServerBootstrap可以方便地创建Netty的服务端
          • 基于Netty开发通信框架服务端,有以下几个关键点需要掌握:
            • 1.用于接收客户端连接的线程池:通常被称为bossGroup, 它的构造方法与处理I/O读写的线程池相同( workerGroup),都是通过new NioEventLoopGroup创建。bossGroup的线程数建议设置为1,因为它仅负责接收客户端的连接,不做复杂的逻辑处理,为了尽可能少地占用资源,它的取值越小越好。
            • 2 .TCP 参数设置:建议在API层面开放TCP参数设置,为一些特殊的私有协议预留扩展点,对于大多数的开发者,使用默认值即可。Netty 的ChannelOption类提供了对TCP参数的封装,由于是工具常量类,未来发生变更的可能性很小,因此可以直接开放给上层使用。
            • 3.编解码框架的定制:通信框架封装Netty的MessageToByteEncoder和LengthFieldBasedFrameDecoder,提供统- -一、通用的编解码接口或者抽象类,由用户实现编解码接口,实现编解码的灵活定制。
            • 4通信层业务逻辑的定制:利用Netty的ChannelPipeline,将ChannelHandler的链式编排能力以参数或者配置化的方式开放出来,由用户灵活扩展,实现协议层逻辑定制。例如示例代码中的超时检测、握手认证等。需要指出的是,如果担心底层通信框架API发生变更直接影响用户的代码,可以在Netty的ChannelHandler上面再抽象包装一层,通过Facade模式屏蔽底层的实现细节。
      • 2)提供可扩展的编解码插件,用户可以通过扩展的方式实现自定义协议的编码和解码。
      • 3)提供拦截面,用于私有协议栈开发。例如通过新增鉴权插件实现服务端对客户端的安全认证。
    • 通信框架客户端:
      • 需要考虑网络连接超时、连接失败等异常场景

PART2:序列化:

  • RPC层中的序列化和反序列化框架
    • RPC序列化框架
      • java.io.Serializable :Java的JDK自带的Serializable(需要序列化的Java对象只需要实现java.io.Serializable接口并生成序列化ID,这个对象对应的类就能通过java.io.ObjectInput和java.io.ObjectOutput序列化和反序列化),这个Java自带的JDK的序列化方式有以下缺点:
        • 这个序列化方式只支持Java语言,不够灵活
        • 效率很低
        • 序列化之后的长度还特别长。
      • Hessian:一种紧凑的二进制序列化框架,在性能和体积上表现比较好
      • google protobuf:Google 公司的序列化标准,序列化后体积相比 JSON、Hessian 还要小,兼容性也做得不错
      • facebook Thrift
      • kyro
      • fst
      • json序列化框架:Key-Value 结构的文本序列化框架,易用且应用最广泛,基于 HTTP 协议的 RPC 框架都会选择 JSON 序列化方式,但它的空间开销很大,在通信时需要更多的内存。
        • Jackson
        • google Gson
        • Ali Fast]son
      • xmlrpc (xstream)
    • RPC序列化框架,序列化可以分为文本类和二进制类两种。
      • 序列化:也叫做编码,将对象序列化为字节数组,再用于网络传输、数据持久化等
      • 反序列化:也叫解码,把从网络、磁盘等读取的字节数组还原成为原始对象(通常是原始对象的副本)
    • 序列化框架的选择:
      • 考虑时间与空间开销,切勿忽略兼容性(除此之外,在 RPC 迭代中,常常会因为序列化协议的兼容性问题使 RPC 框架不稳定,比如某个类型为集合类的入参服务调用者不能解析,某个类的一个属性不能正常调用)。
      • RPC框架中使用的序列化方式需要进一步进行选择:通过测试对比发现Protobuf的性能全面占优(因为Protobuf在时间开销、空间开销、兼容性等关键指标上表现良好。)。需要指出的是,分布式服务框架在面向不同领域应用时,需求也不同。例如大型网站内部的分布式服务框架的特点是组网规模大、高并发、海量的小消息通信、以内部服务调用为主,此类场景就比较适合使用高性能的Protobuf 作为序列化框架。对于企业内部IT系统,服务框架序列化可以选择Json/XML等文本类数据格式,它的可读性更好。
      • 按照序列化和反序列化的三个性能指标:
        • 序列化之后的码流大小:如果序列化后的传输数据体积较大,也会使网络吞吐量下降(空间开销)
        • 序列化和反序列化的速度:在大量并发请求下,如果序列化的速度慢,势必会增加请求和响应的时间(时间开销)
        • 资源占用,主要是CPU和堆内存
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/948996.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号