Perturbation du service de notification des paiements / Payment notification service disruption
- investigating
FR Nous avons identifié un incident impactant l'envoi des notifications post-paiement pour les marchands utilisant nos modules. L'incident est en cours d'analyse. EN We have identified an incident affecting the delivery of post-payment notifications for merchants using our modules. The incident is currently under investigation.
- resolved
TSR-3421 - Début / Start : 19/06/2026 18:00:00 CEST - Fin / End : 20/06/2026 15:17:00 CEST - Catégorie / Category : Production/ Processing - Responsabilité / Responsibility : Externe - Priorité / Priority : P1 FR L’incident affectant l’envoi des notifications post-paiement pour les marchands utilisant les modules a été résolu. Le service a été rétabli à 15h17 et fonctionne désormais normalement. Des opérations seront menées afin de rejouer les notifications qui n’ont pas pu être envoyées depuis le début de l’incident, survenu hier à 18h00. EN The incident affecting the delivery of post-payment notifications for merchants using the modules has been resolved. Service was restored at 15:17 and is now operating normally. Operations will be carried out to replay the notifications that could not be sent since the beginning of the incident, which started yesterday at 18:00.
- postmortem
# _English version below_ # Post Mortem **Référence incident** TSR-3421 **Service concerné** Notifications de paiement. **Impact client** Les notifications de paiement n’étaient plus envoyées aux marchands. **Synthèse de l’incident** * **19 juin 18h :** envoi d’un volume massif de paiements. * **19 juin 18h30 : Début de l’incident.** * **20 juin 10h33 :** remontée d’alerte sur un problème de notification. * **20 juin 11h46 :** création d’une cellule de crise dédiée. Début des investigations. * **20 juin 11h48 :** identification de l’absence d’envoi des notifications de paiement. Poursuites des investigations. * **20 juin 12h50 : identification de la root cause.** * **20 juin 13h02 - 15h15 :** déploiement de diverses actions correctives. * **20 juin 15h17 : fin de l’incident.** * **20 juin 22h32 :** lancement d’automatismes pour renvoyer les notifications. * **21 juin 11h57 :** confirmation du renvoi de l’ensemble des notifications. **Root cause** Un volume anormalement élevé de notifications en échec, associé à des tentatives automatiques de réémission vers une URL indisponible, a saturé la file de traitement des notifications. Cette saturation a par conséquent bloqué l'envoi des notifications. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence d’alerting spécifique sur une file de traitement des notifications. | Ajout d’alerting spécifique pour détecter et anticiper proactivement toute saturation de la file de traitement. | | Absence de limite d’envoi de requête de paiement par marchand. | Mise en place d'un limite par marchand pour limiter les flux de notifications et prévenir toute saturation de la file de traitement. | | Gestion des timeouts inadaptés. | Révision des seuils de timeout pour prévenir la saturation des files de traitement des notifications. | | Retard dans la prise en charge de l’incident. | Révision de la procédure d’incident en heures non ouvrées et communication à certaines équipes. | ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3421 **Payment services affected by the incident** Payment notifications. **Client impact** Payment notifications were no longer sent to merchants. **Incident Overview** * **19 June 6:00pm:** a large volume of payment transactions was processed. * **19 June 6:30pm: incident began.** * **20 June 10:33am:** alert raised regarding a notification issue. * **20 June 11:46am:** a dedicated crisis management team was established. Investigations began. * **20 June 11:48am:** the failure to send payment notifications was identified. Investigations continued. * **20 June 12:50pm: root cause identified.** * **20 June 1:02pm – 3:15pm:** various corrective actions were deployed. * **20 June 3:17pm: incident resolved.** * **20 June 10:32pm:** automated processes were launched to resend the notifications. * **21 June 11:57am:** confirmation that all notifications had been successfully resent. **Root cause** An abnormally high volume of failed notifications, combined with automatic retry attempts to an unavailable URL, saturated the notification processing queue. As a result, the saturation prevented payment notifications from being sent. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | No specific alerting was in place for the notification processing queue. | Specific alerting has been introduced to detect and proactively anticipate any saturation of the processing queue. | | No per-merchant limit was in place for payment request submissions. | A per-merchant limit has been implemented to control notification traffic and prevent saturation of the processing queue. | | Inappropriate timeout settings. | A review of the timeout thresholds is underway to prevent saturation of the notification processing queues. | | Delay in incident response. | The out-of-hours incident management procedure is currently being reviewed and will be communicated to the relevant teams. |