消息队列MQ(二)

news/2025/1/9 16:55:01 标签: java, 后端, 微服务

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

MQ学习笔记

  • 前言
  • 一、发送者的可靠性
    • 1. 生产者重试机制
    • 2. 生产者确认机制
    • 3. 实现生产者确认
  • 二、MQ的可靠性
    • 1. 数据持久化
    • 2. LazyQueue


前言

在用MQ实现异步调用时,我们必须尽可能确保MQ消息的可靠性,即消息应该至少被消费者处理1次,而消息从生产者到消费者每一步都可能导致消息丢失:

  • 发送消息时丢失:
    1. 生产者发送消息时连接MQ失败。
    2. 生产者发送消息到达MQ后未找到Exchange。
    3. 生产者发送消息到达MQ的Exchange后,未找到合适的Queue。
    4. 消息到达MQ后,处理消息的进程发生异常。
  • MQ导致消息丢失:
    • 消息到达MQ,保存到队列后,尚未进行下一步处理(比如消费)就突然宕机。
  • 消费者的处理消息时:
    • 消息接收后尚未处理突然宕机。
    • 消息接收后处理过程中抛出异常。

在这里插入图片描述


一、发送者的可靠性

目的:确保生产者一定能把消息发到MQ。

1. 生产者重试机制

对于第一种情况,即生产者发送消息时,出现网络故障,导致连接MQ失败。

  • 为了解决这个问题,SpringAMQP提供的消息发送时的重试机制。即:当RabbitTemplate与MQ连接超时后多次重试。
  • 当网络不稳定的时候,利用重试机制可以有效提高消息发送的成功率。不过SpringAMQP提供的重试机制是阻塞式的重试,也就是说多次重试等待的过程中,当前线程是被阻塞的。
  • 如果对于业务性能有要求,建议禁用重试机制。
  • 如果一定要使用,需要合理配置等待时长和重试次数,当然也可以考虑使用异步线程来执行发送消息的代码。

2. 生产者确认机制

对于其它三种情况,RabbitMQ提供了生产者消息确认机制,包括Publisher Confirm和Publisher Return两种。在开启确认机制的情况下,当生产者发送消息给MQ后,MQ会根据消息处理的情况返回不同的回执。
在这里插入图片描述

  • 当消息投递到MQ,但是路由失败时,通过Publisher Return返回异常信息,同时返回ack的确认信息,代表投递成功。
  • 临时消息投递到了MQ,并且入队成功,返回ACK,告知投递成功。
  • 持久消息投递到了MQ,并且入队完成持久化,返回ACK ,告知投递成功。
  • 其它情况都会返回NACK,告知投递失败。
  • 其中ack和nack属于Publisher Confirm机制,ack是投递成功;nack是投递失败。而return则属于Publisher Return机制。
  • 默认两种机制都是关闭状态,需要通过配置文件来开启。

3. 实现生产者确认

3.1. 开启生产者确认

在publisher模块的application.yaml中添加配置:

java">spring:
  rabbitmq:
    publisher-confirm-type: correlated # 开启publisher confirm机制,并设置confirm类型
    publisher-returns: true # 开启publisher return机制

这里publisher-confirm-type有三种模式可选:

  • none:关闭confirm机制
  • simple:同步阻塞等待MQ的回执
  • correlated:MQ异步回调返回回执

一般我们推荐使用correlated,回调机制。

3.2. 定义ReturnCallback

每个RabbitTemplate只能配置一个ReturnCallback,因此可以在配置类中统一设置。

3.3. 定义ConfirmCallback

由于每个消息发送时的处理逻辑不一定相同,因此ConfirmCallback需要在每次发消息时定义。

开启生产者确认比较消耗MQ性能,一般不建议开启。而且大家思考一下触发确认的几种情况:

  • 路由失败:一般是因为RoutingKey错误导致,往往是编程导致
  • 交换机名称错误:同样是编程错误导致
  • MQ内部故障:这种需要处理,但概率往往较低。因此只有对消息可靠性要求非常高的业务才需要开启,而且仅仅需要开启ConfirmCallback处理nack就可以了。

二、MQ的可靠性

消息到达MQ以后,如果MQ不能及时保存,也会导致消息丢失,所以MQ的可靠性也非常重要。

1. 数据持久化

为了提升性能,默认情况下MQ的数据都是在内存存储的临时数据,重启后就会消失。为了保证数据的可靠性,必须配置数据持久化,包括:

  • 交换机持久化
  • 队列持久化
  • 消息持久化

2. LazyQueue

在默认情况下,RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟。但在某些特殊情况下,这会导致消息积压,比如:

  • 消费者宕机或出现网络故障
  • 消息发送量激增,超过了消费者处理速度
  • 消费者处理业务发生阻塞

一旦出现消息堆积问题,RabbitMQ的内存占用就会越来越高,直到触发内存预警上限。此时RabbitMQ会将内存消息刷到磁盘上,这个行为成为PageOut. PageOut会耗费一段时间,并且会阻塞队列进程。因此在这个过程中RabbitMQ不会再处理新的消息,生产者的所有请求都会被阻塞。

为了解决这个问题,从RabbitMQ的3.6.0版本开始,就增加了Lazy Queues的模式,也就是惰性队列。惰性队列的特征如下:

  • 接收到消息后直接存入磁盘而非内存
  • 消费者要消费消息时才会从磁盘中读取并加载到内存(也就是懒加载)
  • 支持数百万条的消息存储


http://www.niftyadmin.cn/n/5817761.html

相关文章

git去除.idea

文章目录 目录结构1、创建.gitignore2、将.gitignore文件上传到远程仓库3、删除git的.idea文件4、同步到远程仓库 目录结构 |-.idea |-main.py1、创建.gitignore 目录结构 |-.idea |-main.py |-.gitignore.gitignore内容 /.idea/*2、将.gitignore文件上传到远程仓库 git p…

使用wav2vec 2.0进行音位分类任务的研究总结

使用wav2vec 2.0进行音位分类任务的研究总结 原文名称: Using wav2vec 2.0 for phonetic classification tasks: methodological aspects 研究背景 自监督学习在语音中的应用 自监督学习在自动语音识别任务中表现出色,例如说话人识别和验证。变换器模型…

OpenCV相机标定与3D重建(48)对三台相机进行极线校正(rectification)函数rectify3Collinear()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 计算3头相机的极线校正变换,其中所有相机头都在同一条直线上。 cv::rectify3Collinear 是 OpenCV 库中的一个函数,用于对…

LabVIEW轴承性能测试系统

本文介绍了基于LabVIEW的高效轴承性能测试系统的设计与开发。系统通过双端驱动技术实现高精度同步控制,针对轴承性能进行全面的测试与分析,以提高轴承的可靠性和寿命。 项目背景 随着工业自动化程度的提高,对轴承的性能要求越来越高。传统的…

[离线数仓] 总结二、Hive数仓分层开发

接 [离线数仓] 总结一、数据采集 5.8 数仓开发之ODS层 ODS层的设计要点如下: (1)ODS层的表结构设计依托于从业务系统同步过来的数据结构。 (2)ODS层要保存全部历史数据,故其压缩格式应选择压缩比率,较高的,此处选择gzip。 CompressedStorage - Apache Hive - Apac…

Monaco Editor 系列报错修复:webpack-cli已经下载了但是还报错

今天想把项目push到gitee上,复制、拖动改动了好多,导致项目起不来了,从头安装依赖,但是出现了一个奇怪的报错。众所周知,我们启动项目是在 website 目录下,安装依赖也是在这个目录下,我webpack-…

服务器与机顶盒

在PCDN(P2PCDN,即点对点内容分发网络)中,服务器相比盒子具有更高的风险,这主要是由于它们在性能、资源利用、应用场景以及运营方式上的差异所导致的。以下是对这一问题的详细分析: 一、性能与资源利用差异…

微信小程序中使用weui组件库

这里只介绍官方推荐的通过useExtendedLib扩展库的方式引入,这种方式引入的组件将不计入代码包的大小。 app.json中配置 {"useExtendedLib": {"kbone": true,"weui": true} }在使用组件的页面的 json 文件加入 usingComponents 配置字…