← 返回学习路线

SYSTEM

服务熔断与降级

Java基础服务熔断system
src/content/notes/system/服务熔断.md

服务熔断

Hystrix

基本介绍

Hystrix 是一个用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖会出现调用失败,比如超时、异常等,Hystrix 能够保证在一个依赖出问题的情况下,不会导致整体服务失败,避免级联故障,以提高分布式系统的弹性

断路器本身是一种开关装置,当某个服务单元发生故障之后,通过断路器的故障监控(类似熔断保险丝),向调用方返回一个符合预期的、可处理的备选响应(FallBack),而不是长时间的等待或者抛出调用方无法处理的异常,这样就保证了服务调用方的线程不会被长时间地占用,避免了故障在分布式系统中的蔓延,乃至雪崩

  • 服务降级 Fallback:系统不可用时需要一个兜底的解决方案或备选响应,向调用方返回一个可处理的响应
  • 服务熔断 Break:达到最大服务访问后,直接拒绝访问
  • 服务限流 Flowlimit:高并发操作时严禁所有请求一次性过来拥挤,一秒钟 N 个,有序排队进行

官方文档:https://github.com/Netflix/Hystrix/wiki/How-To-Use


服务降级

案例构建

生产者模块:

  • 引入 pom 依赖:

    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
    </dependency>
  • 主启动类:开启 Feign

    @SpringBootApplication
    @EnableEurekaClient
    @EnableCircuitBreaker // 降级使用
    public class PaymentHystrixMain8001 {
        public static void main(String[] args) {
            SpringApplication.run(PaymentHystrixMain8001.class, args);
        }
    }
  • Controller:

    @RestController
    @Slf4j
    public class PaymentController {
        @Resource
        private PaymentService paymentService;
        @Value("${server.port}")
        private String serverPort;
    
        // 正常访问
        @GetMapping("/payment/hystrix/ok/{id}")
        private String paymentInfo_Ok(@PathVariable("id") Integer id) {
            return paymentService.paymentInfo_Ok(id);
        }
    	// 超时
        @GetMapping("/payment/hystrix/timeout/{id}")
        private String paymentInfo_Timeout(@PathVariable("id") Integer id) {
            // service 层有 Thread.sleep() 操作,保证超时
            return paymentService.paymentInfo_Timeout(id);
        }
    }
  • Service:

    @Service
    public class PaymentService {
        public String paymentInfo_Ok(Integer id) {
            return "线程池: " + Thread.currentThread().getName() + "paymentInfo_OK, id:  " + id";
        }
    
        public String paymentInfo_Timeout(Integer id) {
            int timeNumber = 3;
            try {
                TimeUnit.SECONDS.sleep(timeNumber);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            return "线程池: " + Thread.currentThread().getName() + " payment_Timeout, id:  " + id;
        }
    }
  • jmeter 压测两个接口,发现接口 paymentInfo_Ok 也变的卡顿

消费者模块:

  • Service 接口:

    @Component
    @FeignClient(value = "CLOUD-PROVIDER-HYSTRIX-PAYMENT")
    public interface PaymentHystrixService {
        @GetMapping("/payment/hystrix/ok/{id}")
        public String paymentInfo_Ok(@PathVariable("id") Integer id);
    
        @GetMapping("/payment/hystrix/timeout/{id}")
        public String paymentInfo_Timeout(@PathVariable("id") Integer id);
    }
  • Controller:

    @RestController
    @Slf4j
    public class OrderHystirxController {
        @Resource
        PaymentHystrixService paymentHystrixService;
    
        @GetMapping("/consumer/payment/hystrix/ok/{id}")
        public String paymentInfo_Ok(@PathVariable("id") Integer id) {
            return paymentHystrixService.paymentInfo_Ok(id);
        }
    
        @GetMapping("/consumer/payment/hystrix/timeout/{id}")
        public String paymentInfo_Timeout(@PathVariable("id") Integer id) {
            return paymentHystrixService.paymentInfo_Timeout(id);
        }
    }
  • 测试:使用的是 Feign 作为客户端,默认 1s 没有得到响应就会报超时错误,进行并发压测

  • 解决:

    • 超时导致服务器变慢(转圈):超时不再等待
    • 出错(宕机或程序运行出错):出错要有兜底

降级操作

生产者端和消费者端都可以进行服务降级,使用 @HystrixCommand 注解指定降级后的方法

生产者端:主启动类添加新注解 @EnableCircuitBreaker,业务类(Service)方法进行如下修改,

// 模拟拥堵的情况
@HystrixCommand(fallbackMethod = "paymentInfo_TimeoutHandler", commandProperties = {
    //规定这个线程的超时时间是3s,3s后就由fallbackMethod指定的方法“兜底”(服务降级)
    @HystrixProperty(name="execution.isolation.thread.timeoutInMilliseconds", value = "3000")
})
public String paymentInfo_Timeout(Integer id) {
    // 超时或者出错
}

public String paymentInfo_TimeoutHandler(Integer id) {
    return "线程池:" + Thread.currentThread().getName() + " paymentInfo_TimeoutHandler, id: " + id";
}

服务降级的方法和业务处理的方法混杂在了一块,耦合度很高,并且每个方法配置一个服务降级方法

  • 在业务类Controller上加 @DefaultProperties(defaultFallback = “method_name”) 注解
  • 在需要服务降级的方法上标注 @HystrixCommand 注解,如果 @HystrixCommand 里没有指明 fallbackMethod,就默认使用 @DefaultProperties 中指明的降级服务
@RestController
@Slf4j
@DefaultProperties(defaultFallback = "payment_Global_FallbackMethod")
public class OrderHystrixController {
    @Resource
    PaymentHystrixService paymentHystrixService;

    @GetMapping("/consumer/payment/hystrix/ok/{id}")
    public String paymentInfo_Ok(@PathVariable("id") Integer id) {
        return paymentHystrixService.paymentInfo_OK(id);
    }

    @HystrixCommand
    public String paymentInfo_Timeout(@PathVariable("id") Integer id) {
        return paymentHystrixService.paymentInfo_Timeout(id);
    }

    public String paymentTimeOutFallbackMethod(@PathVariable("id") Integer id) {
        return "fallback";
    }

    // 下面是全局fallback方法
    public String payment_Global_FallbackMethod() {
        return "Global fallback";
    }
}

客户端调用服务端,遇到服务端宕机或关闭等极端情况,为 Feign 客户端定义的接口添加一个服务降级实现类即可实现解耦

  • application.yml:配置文件中开启了 Hystrix

    # 用于服务降级 在注解 @FeignClient中添加fallbackFactory属性值
    feign:
      hystrix:
        enabled: true  #在Feign中开启Hystrix
  • Service:统一为接口里面的方法进行异常处理,服务异常找 PaymentFallbackService,来统一进行服务降级的处理

    @Component
    @FeignClient(value = "PROVIDER-HYSTRIX-PAYMENT", fallback = PaymentFallbackService.class)
    public interface PaymentHystrixService {
    
        @GetMapping("/payment/hystrix/ok/{id}")
        public String paymentInfo_OK(@PathVariable("id") Integer id);
    
        @GetMapping("/payment/hystrix/timeout/{id}")
        public String paymentInfo_Timeout(@PathVariable("id") Integer id);
    }
  • PaymentFallbackService:

    @Component
    public class PaymentFallbackService implements PaymentHystrixService {
        @Override
        public String paymentInfo_OK(Integer id) {
            return "------PaymentFallbackService-paymentInfo_Ok, fallback";
        }
    
        @Override
        public String paymentInfo_Timeout(Integer id) {
            return "------PaymentFallbackService-paymentInfo_Timeout, fallback";
        }
    }

服务熔断

熔断类型

熔断机制是应对雪崩效应的一种微服务链路保护机制,当扇出链路的某个微服务出错不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回错误的响应信息

Hystrix 会监控微服务间调用的状况,当失败的调用到一定阈值,缺省时 5 秒内 20 次调用失败,就会启动熔断机制;当检测到该节点微服务调用响应正常后(检测方式是尝试性放开请求),自动恢复调用链路

  • 熔断打开:请求不再进行调用当前服务,再有请求调用时将不会调用主逻辑,而是直接调用降级 fallback。实现了自动的发现错误并将降级逻辑切换为主逻辑,减少响应延迟效果。内部设置时钟一般为 MTTR(Mean time to repair,平均故障处理时间),当打开时长达到所设时钟则进入半熔断状态
  • 熔断关闭:熔断关闭不会对服务进行熔断,服务正常调用
  • 熔断半开:部分请求根据规则调用当前服务,如果请求成功且符合规则则认为当前服务恢复正常,关闭熔断,反之继续熔断

Cloud-Hystrix熔断机制


熔断操作

涉及到断路器的四个重要参数:快照时间窗、请求总数阀值、窗口睡眠时间、错误百分比阀值

  • circuitBreaker.enabled:是否开启断路器
  • metrics.rollingStats.timeInMilliseconds:快照时间窗口,断路器确定是否打开需要统计一些请求和错误数据,而统计的时间范围就是快照时间窗,默认为最近的 10 秒
  • circuitBreaker.requestVolumeThreshold:请求总数阀值,该属性设置在快照时间窗内(默认 10s)使断路器跳闸的最小请求数量(默认是 20),如果 10s 内请求数小于设定值,就算请求全部失败也不会触发断路器
  • circuitBreaker.sleepWindowInMilliseconds:窗口睡眠时间,短路多久以后开始尝试是否恢复进入半开状态,默认 5s
  • circuitBreaker.errorThresholdPercentage:错误百分比阀值,失败率达到多少后将断路器打开
 //总的意思就是在n(10)毫秒内的时间窗口期内,m次请求中有p% (60%)的请求失败了,那么断路器启动
@HystrixCommand(fallbackMethod = "paymentCircuitBreaker_fallback", commandProperties = {
        @HystrixProperty(name = "circuitBreaker.enabled", value = "true"),
        @HystrixProperty(name = "circuitBreaker.requestVolumeThreshold", value = "10"), 
        @HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds", value = "10000"),
        @HystrixProperty(name = "circuitBreaker.errorThresholdPercentage", value = "60")  
})
public String paymentCircuitBreaker(@PathVariable("id") Integer id) {
    if (id < 0) {
        throw new RuntimeException("******id 不能负数");
    }
    String serialNumber = IdUtil.simpleUUID();  // 等价于UUID.randomUUID().toString()

    return Thread.currentThread().getName() + "\t" + "调用成功,流水号: " + serialNumber;
}
  • 开启:满足一定的阈值(默认 10 秒内超过 20 个请求次数)、失败率达到阈值(默认 10 秒内超过 50% 的请求失败)
  • 关闭:一段时间之后(默认是 5 秒),断路器是半开状态,会让其中一个请求进行转发,如果成功断路器会关闭,反之继续开启

工作流程

具体工作流程:

  1. 创建 HystrixCommand(用在依赖的服务返回单个操作结果的时候) 或 HystrixObserableCommand(用在依赖的服务返回多个操作结果的时候) 对象

  2. 命令执行,其中 HystrixComand 实现了下面前两种执行方式,而 HystrixObservableCommand 实现了后两种执行方式

    • execute():同步执行,从依赖的服务返回一个单一的结果对象, 或是在发生错误的时候抛出异常

    • queue():异步执行, 直接返回 一个 Future 对象, 其中包含了服务执行结束时要返回的单一结果对象

    • observe():返回 Observable 对象,代表了操作的多个结果,它是一个 Hot Obserable(不论事件源是否有订阅者,都会在创建后对事件进行发布,所以对于 Hot Observable 的每个订阅者都有可能是从事件源的中途开始的,并可能只是看到了整个操作的局部过程)

    • toObservable():同样会返回 Observable 对象,也代表了操作的多个结果,但它返回的是一个 Cold Observable(没有订阅者的时候并不会发布事件,而是进行等待,直到有订阅者之后才发布事件,所以对于 Cold Observable 的订阅者,它可以保证从一开始看到整个操作的全部过程)

  3. 若当前命令的请求缓存功能是被启用的,并且该命令缓存命中,那么缓存的结果会立即以 Observable 对象的形式返回

  4. 检查断路器是否为打开状态,如果断路器是打开的,那么 Hystrix 不会执行命令,而是转接到 fallback 处理逻辑(第 8 步);如果断路器是关闭的,检查是否有可用资源来执行命令(第 5 步)

  5. 线程池/请求队列/信号量是否占满,如果命令依赖服务的专有线程池和请求队列,或者信号量(不使用线程池时)已经被占满, 那么 Hystrix 也不会执行命令, 而是转接到 fallback 处理逻辑(第 8 步)

  6. Hystrix 会根据我们编写的方法来决定采取什么样的方式去请求依赖服务

    • HystrixCommand.run():返回一个单一的结果,或者抛出异常
    • HystrixObservableCommand.construct():返回一个Observable 对象来发射多个结果,或通过 onError 发送错误通知
  7. Hystrix会将”成功”、“失败”、“拒绝”、“超时”等信息报告给断路器,而断路器会维护一组计数器来统计这些数据。断路器会使用这些统计数据来决定是否要将断路器打开,来对某个依赖服务的请求进行”熔断/短路”

  8. 当命令执行失败的时候,Hystrix 会进入 fallback 尝试回退处理,通常也称该操作为”服务降级”,而能够引起服务降级情况:

    • 第 4 步:当前命令处于”熔断/短路”状态,断路器是打开的时候
    • 第 5 步:当前命令的线程池、请求队列或 者信号量被占满的时候
    • 第 6 步:HystrixObservableCommand.construct() 或 HystrixCommand.run() 抛出异常的时候
  9. 当 Hystrix 命令执行成功之后, 它会将处理结果直接返回或是以 Observable 的形式返回

注意:如果、没有为命令实现降级逻辑或者在降级处理逻辑中抛出了异常, Hystrix 依然会返回一个 Observable 对象, 但是它不会发射任何结果数据,而是通过 onError 方法通知命令立即中断请求,并通过 onError() 方法将引起命令失败的异常发送给调用者

Cloud-Hystrix工作流程

官方文档:https://github.com/Netflix/Hystrix/wiki/How-it-Works


服务监控

Hystrix 提供了准实时的调用监控(Hystrix Dashboard),Hystrix 会持续的记录所有通过 Hystrix 发起的请求的执行信息,并以统计报表和图形的形式展示给用户,包括每秒执行多少请求多少成功,多少失败等,Netflix 通过 hystrix-metrics-event-stream 项目实现了对以上指标的监控,Spring Cloud 提供了 Hystrix Dashboard 的整合,对监控内容转化成可视化页面

  • 引入 pom 依赖:

    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId>
    </dependency>
  • application.yml:只需要端口即可

    server:
      port: 9001
  • 主启动类:

    @SpringBootApplication
    @EnableHystrixDashboard // 开启Hystrix仪表盘
    public class HystrixDashboardMain9001 {
        public static void main(String[] args) {
            SpringApplication.run(HystrixDashboardMain9001.class, args);
        }
    }
  • 所有微服务(生产者)提供类 8001/8002/8003 都需要监控依赖配置

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-actuator</artifactId>
    </dependency>
  • 启动测试:http://localhost:9001/hystrix

    Cloud-Hystrix可视化界面
  • 新版本 Hystrix 需要在需要监控的微服务端的主启动类中指定监控路径,不然会报错

    @SpringBootApplication
    @EnableEurekaClient  // 本服务启动后会自动注册进eureka服务中
    @EnableCircuitBreaker  // 对hystrixR熔断机制的支持
    public class PaymentHystrixMain8001 {
        public static void main(String[] args) {
            SpringApplication.run(PaymentHystrixMain8001.class, args);
        }
    
        /** ======================================需要添加的代码==================
         *此配置是为了服务监控而配置,与服务容错本身无关,springcloud升级后的坑
         *ServletRegistrationBean因为springboot的默认路径不是"/hystrix.stream",
         *只要在自己的项目里配置上下面的servlet就可以了
         */
        @Bean
        public ServletRegistrationBean getServlet() {
            HystrixMetricsStreamServlet streamServlet = new HystrixMetricsStreamServlet();
            ServletRegistrationBean registrationBean = new ServletRegistrationBean(streamServlet);
            registrationBean.setLoadOnStartup(1);
            registrationBean.addUrlMappings("/hystrix.stream");
            registrationBean.setName("HystrixMetricsStreamServlet");
            return registrationBean;
        }
    }
  • 指标说明:

    Cloud-Hystrix界面图示说明