Dubbo集群简介

目录

  • 1 简介

    • 1.1 概述
    • 1.2 Cluster和ClusterInvoker
  • 2 ClusterInvoker分析
    • 2.1 抽象基类

      • 2.1.1 invoke
      • 2.1.2 list
      • 2.1.3 select
    • 2.2 FailoverClusterInvoker
    • 2.3 FailbackClusterInvoker
    • 2.4 FailfastClusterInvoker
    • 2.5 FailsafeClusterInvoker

1 简介

1.1 概述

为避免单点故障,通常会部署多台服务器。作为服务消费者,在调用时需要考虑:

  • ① 选择哪个服务提供者进行调用
  • ② 若服务提供者调用失败,将如何操作

ClusterInvoker选择服务提供者的大概过程如下:

  • 首先,调用Directory#list()获取Invoker列表(该列表经过路由过滤):
  • 最后,通过LoadBalance#select()获取最终的Invoker

1.2 Cluster和ClusterInvoker

Dubbo定义了两个集群对象:

  • Cluster接口:用于创建ClusterInvoker
  • ClusterInvoker抽象类:实现Invoker接口

示例代码如下:

public class FailoverCluster implements Cluster {
    public final static String NAME = "failover";

    @Override
    public <T> Invoker<T> join(Directory<T> directory) throws RpcException {
        return new FailoverClusterInvoker<T>(directory);
    }
}

2 ClusterInvoker分析

2.1 抽象基类

2.1.1 invoke

该方法会执行如下逻辑:

  • 绑定attachments到invocation中.
  • 从服务目录中获取Invoker列表
  • 执行Invoker
@Override
public Result invoke(final Invocation invocation) throws RpcException {
    checkWhetherDestroyed();
    LoadBalance loadbalance = null;

    // 绑定attachments到invocation中.
    Map<String, String> contextAttachments = RpcContext.getContext().getAttachments();
    if (contextAttachments != null && contextAttachments.size() != 0) {
        ((RpcInvocation) invocation).addAttachments(contextAttachments);
    }
    // 从服务目录中获取Invoker列表
    List<Invoker<T>> invokers = list(invocation);
    if (invokers != null && !invokers.isEmpty()) {
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(invokers.get(0).getUrl()
                    .getMethodParameter(RpcUtils.getMethodName(invocation), Constants.LOADBALANCE_KEY, Constants.DEFAULT_LOADBALANCE));
    }
    RpcUtils.attachInvocationIdIfAsync(getUrl(), invocation);
    // 执行Invoker
    return doInvoke(invocation, invokers, loadbalance);
}

2.1.2 list

该方法用于从服务目录中获取Invoker列表,代码十分简单,如下:

protected List<Invoker<T>> list(Invocation invocation) throws RpcException {
    List<Invoker<T>> invokers = directory.list(invocation);
    return invokers;
}

2.1.3 select

select()方法主要逻辑:

  • 对粘带属性的支持:让服务消费者尽可能的调用同一个服务提供者,除非该提供者挂了再进行切换。
  • doSelect()方法:根据负载均衡算法获取一个服务提供者Invoker
// invokers:服务目录中获取的所有Invoker列表
// invoked:在本次调用中,已经执行过的invokers列表
protected Invoker<T> select(LoadBalance loadbalance, Invocation invocation, List<Invoker<T>> invokers, List<Invoker<T>> selected) throws RpcException {
    if (invokers == null || invokers.isEmpty())
        return null;
    // 获取调用方法
    String methodName = invocation == null ? "" : invocation.getMethodName();
    // 获取sticky属性(粘带属性)
    boolean sticky = invokers.get(0).getUrl().getMethodParameter(methodName, Constants.CLUSTER_STICKY_KEY, Constants.DEFAULT_CLUSTER_STICKY);
    {
        // 如果stickyInvoker!=null且invokers列表也不包含stickyInvoker,说明stickyInvoker代表的服务提供者挂了
        if (stickyInvoker != null && !invokers.contains(stickyInvoker)) {
            stickyInvoker = null;
        }
        //如果sticky==true且stickyInvoker!=null,此时如果selected包含stickyInvoker
        //说明stickyInvoker对应服务提供者可能因为网络问题未能成功提供服务,但该提供者并没有挂(invokers仍包含stickyInvoker)
        if (sticky && stickyInvoker != null && (selected == null || !selected.contains(stickyInvoker))) {
            // availablecheck是否开启可用性检查,若开启,检测stickyInvoker是否可用
            if (availablecheck && stickyInvoker.isAvailable()) {
                return stickyInvoker;
            }
        }
    }
    // 若代码走到此处,说明stickyInvoker==null,或不可用
    Invoker<T> invoker = doSelect(loadbalance, invocation, invokers, selected);
    if (sticky) {
        stickyInvoker = invoker;
    }
    return invoker;
}

doSelect方法用于真正去筛选Invoker:

  • 利用负载均衡算法,选出一个Invoker
  • 判断Invoker是否可用,若不可用则进行重选(只做一次)
private Invoker<T> doSelect(LoadBalance loadbalance, Invocation invocation, List<Invoker<T>> invokers, List<Invoker<T>> selected) throws RpcException {
    if (invokers == null || invokers.isEmpty())
        return null;
    if (invokers.size() == 1)
        return invokers.get(0);
    if (loadbalance == null) {
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(Constants.DEFAULT_LOADBALANCE);
    }
    Invoker<T> invoker = loadbalance.select(invokers, getUrl(), invocation);

    //如果selected包含负载均衡选择出的Invoker,或者该Invoker无法经过可用性检查,此时进行重选
    if ((selected != null && selected.contains(invoker))
            || (!invoker.isAvailable() && getUrl() != null && availablecheck)) {
        try {
            Invoker<T> rinvoker = reselect(loadbalance, invocation, invokers, selected, availablecheck);
            if (rinvoker != null) {
                invoker = rinvoker;
            } else {
                //Check the index of current selected invoker, if it's not the last one, choose the one at index+1.
                int index = invokers.indexOf(invoker);
                try {
                    //Avoid collision
                    invoker = index < invokers.size() - 1 ? invokers.get(index + 1) : invokers.get(0);
                } catch (Exception e) { /* 日志 */ }
            }
        } catch (Throwable t) { /* 日志 */ }
    }
    return invoker;
}

2.2 FailoverClusterInvoker

十分简单:失败则循环调用。循环次数可配置,默认3次。

public class FailoverClusterInvoker<T> extends AbstractClusterInvoker<T> {
    private static final Logger logger = LoggerFactory.getLogger(FailoverClusterInvoker.class);
    public FailoverClusterInvoker(Directory<T> directory) {
        super(directory);
    }

    @Override
    @SuppressWarnings({"unchecked", "rawtypes"})
    public Result doInvoke(Invocation invocation, final List<Invoker<T>> invokers, LoadBalance loadbalance) throws RpcException {
        List<Invoker<T>> copyinvokers = invokers;
        checkInvokers(copyinvokers, invocation);
        int len = getUrl().getMethodParameter(invocation.getMethodName(), Constants.RETRIES_KEY, Constants.DEFAULT_RETRIES) + 1;
        if (len <= 0) {
            len = 1;
        }
        // retry loop.
        RpcException le = null; // last exception.
        List<Invoker<T>> invoked = new ArrayList<Invoker<T>>(copyinvokers.size()); // invoked invokers.
        Set<String> providers = new HashSet<String>(len);
        for (int i = 0; i < len; i++) {
            //Reselect before retry to avoid a change of candidate `invokers`.
            //NOTE: if `invokers` changed, then `invoked` also lose accuracy.
            if (i > 0) {
                checkWhetherDestroyed();
                copyinvokers = list(invocation);
                // check again
                checkInvokers(copyinvokers, invocation);
            }
            Invoker<T> invoker = select(loadbalance, invocation, copyinvokers, invoked);
            invoked.add(invoker);
            RpcContext.getContext().setInvokers((List) invoked);
            try {
                Result result = invoker.invoke(invocation);
                if (le != null && logger.isWarnEnabled()) {
                    //
                }
                return result;
            } catch (RpcException e) {
                if (e.isBiz()) { // biz exception.
                    throw e;
                }
                le = e;
            } catch (Throwable e) {
                le = new RpcException(e.getMessage(), e);
            } finally {
                providers.add(invoker.getUrl().getAddress());
            }
        }
        throw new RpcException(...);
    }

}

2.3 FailbackClusterInvoker

调用失败,返回空结果给服务提供者,定时任务对失败的调用进行补偿,适合执行消息通知等操作,如下:

public class FailbackClusterInvoker<T> extends AbstractClusterInvoker<T> {
    private static final Logger logger = LoggerFactory.getLogger(FailbackClusterInvoker.class);

    private static final long RETRY_FAILED_PERIOD = 5 * 1000;
    private final ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(2,
            new NamedInternalThreadFactory("failback-cluster-timer", true));

    private final ConcurrentMap<Invocation, AbstractClusterInvoker<?>> failed = new ConcurrentHashMap<Invocation, AbstractClusterInvoker<?>>();
    private volatile ScheduledFuture<?> retryFuture;

    public FailbackClusterInvoker(Directory<T> directory) {
        super(directory);
    }
    // 放入失败队列Map结构中
    private void addFailed(Invocation invocation, AbstractClusterInvoker<?> router) {
        if (retryFuture == null) {
            synchronized (this) {
                if (retryFuture == null) {
                    retryFuture = scheduledExecutorService.scheduleWithFixedDelay(new Runnable() {
                        @Override
                        public void run() {
                            // collect retry statistics
                            try {
                                retryFailed();
                            } catch (Throwable t) { // Defensive fault tolerance
                                logger.error("Unexpected error occur at collect statistic", t);
                            }
                        }
                    }, RETRY_FAILED_PERIOD, RETRY_FAILED_PERIOD, TimeUnit.MILLISECONDS);
                }
            }
        }
        failed.put(invocation, router);
    }
    // 失败重试
    void retryFailed() {
        if (failed.size() == 0) {
            return;
        }
        for (Map.Entry<Invocation, AbstractClusterInvoker<?>> entry : new HashMap<Invocation, AbstractClusterInvoker<?>>(
                failed).entrySet()) {
            Invocation invocation = entry.getKey();
            Invoker<?> invoker = entry.getValue();
            try {
                invoker.invoke(invocation);
                failed.remove(invocation);
            } catch (Throwable e) {
                logger.error("Failed retry to invoke method " + invocation.getMethodName() + ", waiting again.", e);
            }
        }
    }

    @Override
    protected Result doInvoke(Invocation invocation, List<Invoker<T>> invokers, LoadBalance loadbalance) throws RpcException {
        try {
            checkInvokers(invokers, invocation);
            Invoker<T> invoker = select(loadbalance, invocation, invokers, null);
            return invoker.invoke(invocation);
        } catch (Throwable e) {
            /* 日志 */
            addFailed(invocation, this);
            return new RpcResult(); // ignore
        }
    }

}

2.4 FailfastClusterInvoker

调用一次,快速失败,失败后立即抛出异常:

public class FailfastClusterInvoker<T> extends AbstractClusterInvoker<T> {
    public FailfastClusterInvoker(Directory<T> directory) {
        super(directory);
    }

    @Override
    public Result doInvoke(Invocation invocation, List<Invoker<T>> invokers, LoadBalance loadbalance) throws RpcException {
        checkInvokers(invokers, invocation);
        Invoker<T> invoker = select(loadbalance, invocation, invokers, null);
        try {
            return invoker.invoke(invocation);
        } catch (Throwable e) {
            if (e instanceof RpcException && ((RpcException) e).isBiz()) { // biz exception.
                throw (RpcException) e;
            }
            throw new RpcException(e instanceof RpcException ? ((RpcException) e).getCode() : 0, "Failfast invoke providers " + invoker.getUrl() + " " + loadbalance.getClass().getSimpleName() + " select from all providers " + invokers + " for service " + getInterface().getName() + " method " + invocation.getMethodName() + " on consumer " + NetUtils.getLocalHost() + " use dubbo version " + Version.getVersion() + ", but no luck to perform the invocation. Last error is: " + e.getMessage(), e.getCause() != null ? e.getCause() : e);
        }
    }
}

2.5 FailsafeClusterInvoker

调用一次,快速失败,失败仅打印日志,不抛出异常

public class FailsafeClusterInvoker<T> extends AbstractClusterInvoker<T> {
    private static final Logger logger = LoggerFactory.getLogger(FailsafeClusterInvoker.class);
    public FailsafeClusterInvoker(Directory<T> directory) {
        super(directory);
    }

    @Override
    public Result doInvoke(Invocation invocation, List<Invoker<T>> invokers, LoadBalance loadbalance) throws RpcException {
        try {
            checkInvokers(invokers, invocation);
            Invoker<T> invoker = select(loadbalance, invocation, invokers, null);
            return invoker.invoke(invocation);
        } catch (Throwable e) {
            logger.error("Failsafe ignore exception: " + e.getMessage(), e);
            return new RpcResult(); // ignore
        }
    }
}

原文地址:https://www.cnblogs.com/wolfdriver/p/10663493.html

时间: 2024-11-09 09:26:09

Dubbo集群简介的相关文章

RHCS集群简介及配置web高可用

                 RHCS集群配置 一.RHCS集群简介 RHCS(Red Hat Cluster Suite)集群是红帽官方提供的子集群套件,它整合了高可用集群.负载均衡集群.存储集群,从而为用户提供了完整的一套从前端到应用到存储的集群解决方案.通过RHCS集群提供的集群服务,可以为web,数据库等关键业务提供高效,稳定的运行环境. 二.RHCS的核心功能 1.负载均衡 RHCS的负载均衡集群通过LVS(Linux Virtual Server)来实现其功能,LVS是由前端的调

Dubbo集群-负载均衡

Dubbo集群-负载均衡 你需要一个dubbo-admin的压缩包 你需要将解压包放到tomcate文件下的webapps内(修改E:\tomcat-apache\apache-tomcat-7.0.64\webapps\dubbo-admin\WEB-INF\dubbo.properties中zookeeper地址) 你需要再zookeeper服务启动的情况下,启动tomcate(tomcate/bin/startup.bar) 登录localhost:8080/dubbo-admin 访问页

zookeeper,dubbo集群搭建

为保证服务的稳定性和持续性,在公司的项目中搭建集群是必不可少的. 1.环境准备 我的三台zk服务分别在192.168.254.122,192.168.254.123,192.168.254.124 wget http://www.apache.org/dist//zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz (建议选择稳定版,即stable的) 2.安装zk tar zxvf zookeeper-3.4.8.tar.gz cd zookeepe

高可用集群简介

陈科肇 ============== 1.简介 如今,随着技术的快速发展,同时客户的需求也越来越高,越来越多的行业需要提供7*24小时不间断的服务.所以这对服务器的性能特别高,但不管理怎么来说,一台服务器是永远满足不了需求的,比如你正在使用的唯一一台服务器发生了宕机的情况,那么你向客户所以提供的服务将中断,这对于特别要求的服务是不容许这种情况的发生的,因为这将带来重大的经济利益的损失! 在这种情况下,我们可以采用集群的方式来减少或避免这种情况的发生. 2.常见的冗余模式(工作方式) 2.1双机热

redis(8)集群简介

一.集群 互联网每天都会产生大量的数据,单实例已经不能满足需求.但是如果依赖于硬件成本的提升,那就不是所有人能够负担的起的. 集群这个时候出现,一定程度上解决了这个问题.它通过互联网,将多个单实例连接在一起,对外隐藏实现细节,这样在用户看来跟单实例是一样的.你不需要去购买昂贵的服务器,甚至于只需要通过多台廉价的服务器就可以满足需要. 二.redis集群 1.简介 在redis3.0之前是它的无集群时代,大家只能够通过一些中间件来完成集群.而3.0开始,redis内部集群的实现开始逐渐替代很多中间

dubbo集群服务下一台服务挂了对服务调用的影响

一.问题描述:项目中2台dubbo服务给移动端提供查询接口,移动端反应说查询时而很快(秒刷),时而很慢(4-5秒). 二.问题分析: 1.问题猜想:网络不稳定原因导致,但是切换公司wifi和手机4G,问题依旧存在.说明问题不是网络原因导致 2.因为服务提供者中有记录服务响应时间日志,打开2台服务提供者的日志,发现有一台不会打印最新日志,而所有的服务调用都在另一台,检查发现一台dubbo服务已经挂了(mark可能是问题原因).   继续分析正常使用的dubbo服务的响应日志发现..响应时间都在20

dubbo集群容错解决方案

dubbo主要核心部件 Remoting:网络通信框架,实现了sync-over-async和request-response消息机制. RPC:一个远程过程调用的抽象,支持负载均衡.容灾和集群功能. Registry:服务目录框架用于服务的注册和服务事件发布和订阅.(类似第一篇文章中的点菜宝) dubbo架构 Provider: 暴露服务的提供方. Consumer:调用远程服务的服务消费方. Registry: 服务注册中心和发现中心. Monitor: 统计服务和调用次数,调用时间监控中心

Dubbo集群容错

集群容错模式 Failover Cluster 失败自动切换 使用方法 <dubbo:reference cluster="failover" /> 当出现失败,重试其它服务器,通常用于读操作(推荐使用).重试会带来更长延时. Failfast Cluster 快速失败,抛出异常 使用方法 <dubbo:reference cluster="failfast" /> 只发起一次调用,失败立即报错,通常用于非幂等性的写操作.如果有机器在重启,可

集群技术(二) MySQL集群简介与配置详解

when?why? 用MySQL集群? 减少数据中心结点压力和大数据量处理(读写分离),采用把MySQL分布,一个或多个application对应一个MySQL数据库.把几个MySQL数据库公用的数据做出共享数据,例如购物车,用户对象等等,存在数据结点里面.其他不共享的数据还维持在各自分布的MySQL数据库本身中.  集群MySQL中名称概念   MySQL群集需要有一组计算机,每台计算机的角色可能是不一样的.MySQL群集中有三种节点:管理节点.数据节点和SQL节点.群集中的某计算机可能是某一