Skip to content

Latest commit

 

History

History
130 lines (84 loc) · 6.21 KB

readme.md

File metadata and controls

130 lines (84 loc) · 6.21 KB

Casio——RPC远程调用框架

1、项目结构

  • casio-core【核心代码模块】
    • boostrap:启动辅助类(启动框架时,代码整洁)
    • common:公用包
      • annotation:注解(服务注册、消费、SPI)
      • exception:自定义异常
        • RemotingException.class:远程连接异常
        • RpcException.class :RPC调用异常
      • extension:SPI,参照Dubbo实现,没有dubbo那么复杂
      • utils:通用工具类
      • cache:缓存实现(LRU和LFU)
    • config:
      • context:启动上下文相关(注册中心、服务提供者、服务消费者等等)
      • parser:xml和yaml的解析
    • domain
      • RpcMessage.class:消息传递的数据通用类型,数据通过protocol包装后的类
      • RpcRequest.class:服务消费者请求
      • RpcResponse.class:服务提供者调用服务后返回结果
      • RpcStatus:状态和异常
    • monitor:监控
    • registry:注册中心相关
      • cache:注册中心相关信息缓存,不需要重复调用注册中心
      • nacos(未实现)
      • zookeeper
      • ServiceDiscovery.class:服务发现接口
      • ServiceRegistry.class : 服务注册接口
    • remoting:远程连接
      • http:http形式调用,类似Spring cloud
      • netty:netty连接
    • rpc:与远程连接模块区分,是远程连接前置和后置工作
      • cluster:集群相关,负载均衡等
      • filter:前置过滤
      • protocol:协议,com.report.casio.remoting.transport.netty.codec调用
      • proxy:代理,客户端和服务端
  • casio-embed:内嵌其他应用(例:内嵌Zookeeper,不需要额外安装启动zk)
  • casio-spring:结合Spring模块
  • casio-spring-test:casio-spring模块的测试类
  • casio-test:casio-core模块的测试类

二、实现原理

RPC分为服务提供者和消费者两部分。

RPC调用流程:消费者通过类生成对应的URL,访问注册中心,拿到提供者所在的IP地址,通过负载均衡选择其中一个IP地址,进行连接(Netty),将服务名、方法名、参数等信息传递给提供者,提供者调用实际的实现类,将结果包装后返回给消费者,消费者将结果输出。

提供者

启动时扫描项目中 @Register 的类,将类注册进注册中心,这里就需要几个部分:注册中心配置类、注册中心连接工具类,扫描类、已经服务注册类。

目前只实现zookeeper注册中心,工具类采用 org.apache.curator

注册仿照dubbo的方式,但功能相对少了很多,因此路径也优化了很多。路径格式 casio/serviceName/provider

扫描类 AnnScanUtils ,没有使用 Spring 结合实现,这个扫描类通过路径递归查找判断扫描,可能存在问题。

NettyServer:等待消费者发送消息,调用后返回结果

消费者

服务发现类 ServiceDiscovery:通过方法名生成对应路径,去注册中心获取ip,每次调用都需要访问注册中心,会对注册中心造成比较大的压力,因此第一次调用获取后将结果缓存起来,通过添加watcher,如果该节点发生变化,删除对应的缓存。缓存需要考虑超过cacheSize后的删除机制,这里参考dubbo

NettyClient:消费者比较复杂,首先你需要拿到对应IP的 Channel,进行消息发送,其次需要等待提供者将消息返回,这里的实现采用 Future 模式实现(不用通过阻塞的方式实现 wait、notify,多线程会出现问题)。

SPI机制

仿照 dubbo 实现,只实现了扫描文件获取对应的类,源码还有类属性的注入等实现。

粘包和拆包——采用协议

+--------+--------+--------+--------+--------+--------+--------+--------+--------+--------+--------+ 
|  BYTE  |   BYTE |  BYTE  |           int            |         ........         |        | 
+--------+--------+--------+--------+--------+--------+--------+--------+--------+--------+--------+ 
|  magic | version|  type  |       content length     |            content byte[]                  | 
+--------+--------------------------------------------+--------+--------+--------+--------+--------+

magic:固定为 0x27(00011011)
version:区分协议解析器版本
type:请求类型
content length:消息长度
content byte[]:消息内容

超时和重试机制

重试的设置最好是在提供者,因为提供者对业务熟悉,能够合理的设置重试次数。

dubbo的超时针对消费者,消费者轮询Future发现超时时,不再等待该返回结果,并不意味着该线程结束执行。

三、其他

  • Rpc涉及到类在网络上的传输,因此需要注意几点:序列化;不需要传输,但是本地需要用到的属性添加 transient 修饰符;类的长度丢失问题,涉及协议
  • 在Rpc中会涉及到需要多线程的问题,因此 ConcurrentMap 的使用非常必要,在累加的时候需要使用 AtomicInteger
  • CompletableFuture 类的使用,这个类在异步中使用非常强大。
  • LRU和LFU算法:一定程度上参考了dubbo。我的LRU是将所有被调用的service全部添加,这样会有频繁切换的缓存的问题,dubbo有一个Map记录service访问次数,达到某个阈值才会被添加到缓存。LFU算法通过Frequency table + 链表实现,具体参考 com.report.casio.common.cache.LFUCache

存在问题或改进

  • 服务发现的缓存存在问题,测试时发现服务提供者断线之后,注册中心的节点存在延迟,这个时候调用会发现服务提供者并不存在,需要添加重试机制。
  • 目前消息传递使用序列化和对象转byte数组实现,可以考虑其他,例:kyro、protobuff(GRPC)
  • 启动的信息不知道该如何加载和放置,目前全部堆积在 config 下,存在一定问题。
  • 配置文件的读取也没有实现,目前zookeeper等配置信息都是写死的

参考

参考阿里文章:https://zhuanlan.zhihu.com/p/388848964

dubbo项目:https://github.com/apache/dubbo

几位大佬自己实现的RPC框架(相比我的完善许多,给我提供了许多思路):https://github.com/Snailclimb/guide-rpc-framework

联系方式:QQ1758619238