关于 blobstore 纠删码 3AZ 部署时， ClusterMgr 也使用 3AZ 部署时，Raft 的稳定性问题？

[jianwei1216]

背景

• CubeFS十分钟入门 | 纠删码系统跨AZ部署

• 

ClusterMgr 配置

{
     "bind_addr":":9998",
     "cluster_id":1,
     "idc":["z0","z1","z2"],
     "chunk_size": 17179869184,
     "log": {
         "level": "info",
         "filename": "/home/service/clustermgr/logs/clustermgr.log"
      },
     "auth": {
         "enable_auth": false,
         "secret": "secret"
     },
     "region": "region-name",
     "db_path":"/home/service/var/data/db/",
     "code_mode_policies": [ 
         {"mode_name":"EC6P6","min_size":0,"max_size":103079215104,"size_ratio":1,"enable":true}
     ],
     "raft_config": {
         "server_config": {
             "nodeId": 1,
             "listen_port": 10110,
         },
         "raft_node_config":{
             "node_protocol": "http://",
             "members": [
                     {"id":1, "host":"192.168.20.12:10110", "learner": false, "node_host":"192.168.20.12:9998"},
                     {"id":2, "host":"192.168.30.12:10110", "learner": false, "node_host":"192.168.30.12:9998"},
                     {"id":3, "host":"192.168.40.12:10110", "learner": false, "node_host":"192.168.40.12:9998"}]
         }
     },
     "disk_mgr_config": {
         "refresh_interval_s": 10,
         "rack_aware":true,
         "host_aware":ture,
         "heartbeat_expire_interval_s": 60,        
         "refresh_interval_s": 600,
         "ensure_index": false 
     },
     "auditlog": {        
       "logdir": "/home/service/clustermgr/logs/auditlog",        
       "backup": 30,        
       "rotate_new": true,        
       "log_file_suffix": ".log"
     }
}

问题列表

• BlobNode 跨 3AZ 部署时，
• ClusterMgr 基于 Raft 实现高可用
• 问题0：在实际生产中，ClusterMgr 是否也要跨 3AZ 部署？
  • 比如 3 个 ClusterMgr 节点，每个 AZ 一个 ClusterMgr 服务进程，这样对不对？
• 问题1：在实际生产中，建议 3AZ 的地理距离要求多少公里？
• 问题2：在实际生产中，3AZ 之间的网络时延要求多少 ms?
• 问题3：在实际生产中，ClusterMgr 在 3AZ 部署时，稳定性如何？
  • 有没有可能导致 raft leader 由于网络原因引发选举的问题
  • 根本上，是想了解一下，如何看待 raft 在 3az 场景下的使用问题，这似乎是一个无法回避的问题

[jianwei1216]

@JasonHu520
@xiangcai1215
@Cloudstriff
能帮我答疑解惑吗？
万分感谢!

[JasonHu520]

问题0： 实际生产环境中，可以根据资源情况进行部署，可以一个az3个节点，两个az 2:1，以此类推；对的，一个节点即一个clusterMgr进程
问题1，2 ：根据机房情况来看就好，网络保持在ms级别一般就没问题；
问题3：我们线上有 3AZ 部署，目前没有出现选举问题；网络导致的选举问题其实和几az没有直接联系，只要保证节点间网络正常就可以；一般3节点部署的形式，即便有一个AZ异常，只要其他两个az之间的网络正常，也是没有问题的