SYSTEM
服务熔断与降级
src/content/notes/system/服务熔断.md 服务熔断
Hystrix
基本介绍
Hystrix 是一个用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖会出现调用失败,比如超时、异常等,Hystrix 能够保证在一个依赖出问题的情况下,不会导致整体服务失败,避免级联故障,以提高分布式系统的弹性
断路器本身是一种开关装置,当某个服务单元发生故障之后,通过断路器的故障监控(类似熔断保险丝),向调用方返回一个符合预期的、可处理的备选响应(FallBack),而不是长时间的等待或者抛出调用方无法处理的异常,这样就保证了服务调用方的线程不会被长时间地占用,避免了故障在分布式系统中的蔓延,乃至雪崩
- 服务降级 Fallback:系统不可用时需要一个兜底的解决方案或备选响应,向调用方返回一个可处理的响应
- 服务熔断 Break:达到最大服务访问后,直接拒绝访问
- 服务限流 Flowlimit:高并发操作时严禁所有请求一次性过来拥挤,一秒钟 N 个,有序排队进行
官方文档:https://github.com/Netflix/Hystrix/wiki/How-To-Use
服务降级
案例构建
生产者模块:
-
引入 pom 依赖:
<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-netflix-hystrix</artifactId> </dependency> -
主启动类:开启 Feign
@SpringBootApplication @EnableEurekaClient @EnableCircuitBreaker // 降级使用 public class PaymentHystrixMain8001 { public static void main(String[] args) { SpringApplication.run(PaymentHystrixMain8001.class, args); } } -
Controller:
@RestController @Slf4j public class PaymentController { @Resource private PaymentService paymentService; @Value("${server.port}") private String serverPort; // 正常访问 @GetMapping("/payment/hystrix/ok/{id}") private String paymentInfo_Ok(@PathVariable("id") Integer id) { return paymentService.paymentInfo_Ok(id); } // 超时 @GetMapping("/payment/hystrix/timeout/{id}") private String paymentInfo_Timeout(@PathVariable("id") Integer id) { // service 层有 Thread.sleep() 操作,保证超时 return paymentService.paymentInfo_Timeout(id); } } -
Service:
@Service public class PaymentService { public String paymentInfo_Ok(Integer id) { return "线程池: " + Thread.currentThread().getName() + "paymentInfo_OK, id: " + id"; } public String paymentInfo_Timeout(Integer id) { int timeNumber = 3; try { TimeUnit.SECONDS.sleep(timeNumber); } catch (InterruptedException e) { e.printStackTrace(); } return "线程池: " + Thread.currentThread().getName() + " payment_Timeout, id: " + id; } } -
jmeter 压测两个接口,发现接口 paymentInfo_Ok 也变的卡顿
消费者模块:
-
Service 接口:
@Component @FeignClient(value = "CLOUD-PROVIDER-HYSTRIX-PAYMENT") public interface PaymentHystrixService { @GetMapping("/payment/hystrix/ok/{id}") public String paymentInfo_Ok(@PathVariable("id") Integer id); @GetMapping("/payment/hystrix/timeout/{id}") public String paymentInfo_Timeout(@PathVariable("id") Integer id); } -
Controller:
@RestController @Slf4j public class OrderHystirxController { @Resource PaymentHystrixService paymentHystrixService; @GetMapping("/consumer/payment/hystrix/ok/{id}") public String paymentInfo_Ok(@PathVariable("id") Integer id) { return paymentHystrixService.paymentInfo_Ok(id); } @GetMapping("/consumer/payment/hystrix/timeout/{id}") public String paymentInfo_Timeout(@PathVariable("id") Integer id) { return paymentHystrixService.paymentInfo_Timeout(id); } } -
测试:使用的是 Feign 作为客户端,默认 1s 没有得到响应就会报超时错误,进行并发压测
-
解决:
- 超时导致服务器变慢(转圈):超时不再等待
- 出错(宕机或程序运行出错):出错要有兜底
降级操作
生产者端和消费者端都可以进行服务降级,使用 @HystrixCommand 注解指定降级后的方法
生产者端:主启动类添加新注解 @EnableCircuitBreaker,业务类(Service)方法进行如下修改,
// 模拟拥堵的情况
@HystrixCommand(fallbackMethod = "paymentInfo_TimeoutHandler", commandProperties = {
//规定这个线程的超时时间是3s,3s后就由fallbackMethod指定的方法“兜底”(服务降级)
@HystrixProperty(name="execution.isolation.thread.timeoutInMilliseconds", value = "3000")
})
public String paymentInfo_Timeout(Integer id) {
// 超时或者出错
}
public String paymentInfo_TimeoutHandler(Integer id) {
return "线程池:" + Thread.currentThread().getName() + " paymentInfo_TimeoutHandler, id: " + id";
}
服务降级的方法和业务处理的方法混杂在了一块,耦合度很高,并且每个方法配置一个服务降级方法
- 在业务类Controller上加 @DefaultProperties(defaultFallback = “method_name”) 注解
- 在需要服务降级的方法上标注 @HystrixCommand 注解,如果 @HystrixCommand 里没有指明 fallbackMethod,就默认使用 @DefaultProperties 中指明的降级服务
@RestController
@Slf4j
@DefaultProperties(defaultFallback = "payment_Global_FallbackMethod")
public class OrderHystrixController {
@Resource
PaymentHystrixService paymentHystrixService;
@GetMapping("/consumer/payment/hystrix/ok/{id}")
public String paymentInfo_Ok(@PathVariable("id") Integer id) {
return paymentHystrixService.paymentInfo_OK(id);
}
@HystrixCommand
public String paymentInfo_Timeout(@PathVariable("id") Integer id) {
return paymentHystrixService.paymentInfo_Timeout(id);
}
public String paymentTimeOutFallbackMethod(@PathVariable("id") Integer id) {
return "fallback";
}
// 下面是全局fallback方法
public String payment_Global_FallbackMethod() {
return "Global fallback";
}
}
客户端调用服务端,遇到服务端宕机或关闭等极端情况,为 Feign 客户端定义的接口添加一个服务降级实现类即可实现解耦
-
application.yml:配置文件中开启了 Hystrix
# 用于服务降级 在注解 @FeignClient中添加fallbackFactory属性值 feign: hystrix: enabled: true #在Feign中开启Hystrix -
Service:统一为接口里面的方法进行异常处理,服务异常找 PaymentFallbackService,来统一进行服务降级的处理
@Component @FeignClient(value = "PROVIDER-HYSTRIX-PAYMENT", fallback = PaymentFallbackService.class) public interface PaymentHystrixService { @GetMapping("/payment/hystrix/ok/{id}") public String paymentInfo_OK(@PathVariable("id") Integer id); @GetMapping("/payment/hystrix/timeout/{id}") public String paymentInfo_Timeout(@PathVariable("id") Integer id); } -
PaymentFallbackService:
@Component public class PaymentFallbackService implements PaymentHystrixService { @Override public String paymentInfo_OK(Integer id) { return "------PaymentFallbackService-paymentInfo_Ok, fallback"; } @Override public String paymentInfo_Timeout(Integer id) { return "------PaymentFallbackService-paymentInfo_Timeout, fallback"; } }
服务熔断
熔断类型
熔断机制是应对雪崩效应的一种微服务链路保护机制,当扇出链路的某个微服务出错不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回错误的响应信息
Hystrix 会监控微服务间调用的状况,当失败的调用到一定阈值,缺省时 5 秒内 20 次调用失败,就会启动熔断机制;当检测到该节点微服务调用响应正常后(检测方式是尝试性放开请求),自动恢复调用链路
- 熔断打开:请求不再进行调用当前服务,再有请求调用时将不会调用主逻辑,而是直接调用降级 fallback。实现了自动的发现错误并将降级逻辑切换为主逻辑,减少响应延迟效果。内部设置时钟一般为 MTTR(Mean time to repair,平均故障处理时间),当打开时长达到所设时钟则进入半熔断状态
- 熔断关闭:熔断关闭不会对服务进行熔断,服务正常调用
- 熔断半开:部分请求根据规则调用当前服务,如果请求成功且符合规则则认为当前服务恢复正常,关闭熔断,反之继续熔断

熔断操作
涉及到断路器的四个重要参数:快照时间窗、请求总数阀值、窗口睡眠时间、错误百分比阀值
- circuitBreaker.enabled:是否开启断路器
- metrics.rollingStats.timeInMilliseconds:快照时间窗口,断路器确定是否打开需要统计一些请求和错误数据,而统计的时间范围就是快照时间窗,默认为最近的 10 秒
- circuitBreaker.requestVolumeThreshold:请求总数阀值,该属性设置在快照时间窗内(默认 10s)使断路器跳闸的最小请求数量(默认是 20),如果 10s 内请求数小于设定值,就算请求全部失败也不会触发断路器
- circuitBreaker.sleepWindowInMilliseconds:窗口睡眠时间,短路多久以后开始尝试是否恢复进入半开状态,默认 5s
- circuitBreaker.errorThresholdPercentage:错误百分比阀值,失败率达到多少后将断路器打开
//总的意思就是在n(10)毫秒内的时间窗口期内,m次请求中有p% (60%)的请求失败了,那么断路器启动
@HystrixCommand(fallbackMethod = "paymentCircuitBreaker_fallback", commandProperties = {
@HystrixProperty(name = "circuitBreaker.enabled", value = "true"),
@HystrixProperty(name = "circuitBreaker.requestVolumeThreshold", value = "10"),
@HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds", value = "10000"),
@HystrixProperty(name = "circuitBreaker.errorThresholdPercentage", value = "60")
})
public String paymentCircuitBreaker(@PathVariable("id") Integer id) {
if (id < 0) {
throw new RuntimeException("******id 不能负数");
}
String serialNumber = IdUtil.simpleUUID(); // 等价于UUID.randomUUID().toString()
return Thread.currentThread().getName() + "\t" + "调用成功,流水号: " + serialNumber;
}
- 开启:满足一定的阈值(默认 10 秒内超过 20 个请求次数)、失败率达到阈值(默认 10 秒内超过 50% 的请求失败)
- 关闭:一段时间之后(默认是 5 秒),断路器是半开状态,会让其中一个请求进行转发,如果成功断路器会关闭,反之继续开启
工作流程
具体工作流程:
-
创建 HystrixCommand(用在依赖的服务返回单个操作结果的时候) 或 HystrixObserableCommand(用在依赖的服务返回多个操作结果的时候) 对象
-
命令执行,其中 HystrixComand 实现了下面前两种执行方式,而 HystrixObservableCommand 实现了后两种执行方式
-
execute():同步执行,从依赖的服务返回一个单一的结果对象, 或是在发生错误的时候抛出异常
-
queue():异步执行, 直接返回 一个 Future 对象, 其中包含了服务执行结束时要返回的单一结果对象
-
observe():返回 Observable 对象,代表了操作的多个结果,它是一个 Hot Obserable(不论事件源是否有订阅者,都会在创建后对事件进行发布,所以对于 Hot Observable 的每个订阅者都有可能是从事件源的中途开始的,并可能只是看到了整个操作的局部过程)
-
toObservable():同样会返回 Observable 对象,也代表了操作的多个结果,但它返回的是一个 Cold Observable(没有订阅者的时候并不会发布事件,而是进行等待,直到有订阅者之后才发布事件,所以对于 Cold Observable 的订阅者,它可以保证从一开始看到整个操作的全部过程)
-
-
若当前命令的请求缓存功能是被启用的,并且该命令缓存命中,那么缓存的结果会立即以 Observable 对象的形式返回
-
检查断路器是否为打开状态,如果断路器是打开的,那么 Hystrix 不会执行命令,而是转接到 fallback 处理逻辑(第 8 步);如果断路器是关闭的,检查是否有可用资源来执行命令(第 5 步)
-
线程池/请求队列/信号量是否占满,如果命令依赖服务的专有线程池和请求队列,或者信号量(不使用线程池时)已经被占满, 那么 Hystrix 也不会执行命令, 而是转接到 fallback 处理逻辑(第 8 步)
-
Hystrix 会根据我们编写的方法来决定采取什么样的方式去请求依赖服务
- HystrixCommand.run():返回一个单一的结果,或者抛出异常
- HystrixObservableCommand.construct():返回一个Observable 对象来发射多个结果,或通过 onError 发送错误通知
-
Hystrix会将”成功”、“失败”、“拒绝”、“超时”等信息报告给断路器,而断路器会维护一组计数器来统计这些数据。断路器会使用这些统计数据来决定是否要将断路器打开,来对某个依赖服务的请求进行”熔断/短路”
-
当命令执行失败的时候,Hystrix 会进入 fallback 尝试回退处理,通常也称该操作为”服务降级”,而能够引起服务降级情况:
- 第 4 步:当前命令处于”熔断/短路”状态,断路器是打开的时候
- 第 5 步:当前命令的线程池、请求队列或 者信号量被占满的时候
- 第 6 步:HystrixObservableCommand.construct() 或 HystrixCommand.run() 抛出异常的时候
-
当 Hystrix 命令执行成功之后, 它会将处理结果直接返回或是以 Observable 的形式返回
注意:如果、没有为命令实现降级逻辑或者在降级处理逻辑中抛出了异常, Hystrix 依然会返回一个 Observable 对象, 但是它不会发射任何结果数据,而是通过 onError 方法通知命令立即中断请求,并通过 onError() 方法将引起命令失败的异常发送给调用者

官方文档:https://github.com/Netflix/Hystrix/wiki/How-it-Works
服务监控
Hystrix 提供了准实时的调用监控(Hystrix Dashboard),Hystrix 会持续的记录所有通过 Hystrix 发起的请求的执行信息,并以统计报表和图形的形式展示给用户,包括每秒执行多少请求多少成功,多少失败等,Netflix 通过 hystrix-metrics-event-stream 项目实现了对以上指标的监控,Spring Cloud 提供了 Hystrix Dashboard 的整合,对监控内容转化成可视化页面
-
引入 pom 依赖:
<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId> </dependency> -
application.yml:只需要端口即可
server: port: 9001 -
主启动类:
@SpringBootApplication @EnableHystrixDashboard // 开启Hystrix仪表盘 public class HystrixDashboardMain9001 { public static void main(String[] args) { SpringApplication.run(HystrixDashboardMain9001.class, args); } } -
所有微服务(生产者)提供类 8001/8002/8003 都需要监控依赖配置
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> -
启动测试:http://localhost:9001/hystrix
-
新版本 Hystrix 需要在需要监控的微服务端的主启动类中指定监控路径,不然会报错
@SpringBootApplication @EnableEurekaClient // 本服务启动后会自动注册进eureka服务中 @EnableCircuitBreaker // 对hystrixR熔断机制的支持 public class PaymentHystrixMain8001 { public static void main(String[] args) { SpringApplication.run(PaymentHystrixMain8001.class, args); } /** ======================================需要添加的代码================== *此配置是为了服务监控而配置,与服务容错本身无关,springcloud升级后的坑 *ServletRegistrationBean因为springboot的默认路径不是"/hystrix.stream", *只要在自己的项目里配置上下面的servlet就可以了 */ @Bean public ServletRegistrationBean getServlet() { HystrixMetricsStreamServlet streamServlet = new HystrixMetricsStreamServlet(); ServletRegistrationBean registrationBean = new ServletRegistrationBean(streamServlet); registrationBean.setLoadOnStartup(1); registrationBean.addUrlMappings("/hystrix.stream"); registrationBean.setName("HystrixMetricsStreamServlet"); return registrationBean; } } -
指标说明:
