Payplug 장애 기록

FR Nous avons identifié un incident impactant l'envoi des notifications post-paiement pour les marchands utilisant nos modules. L'incident est en cours d'analyse. EN We have identified an incident affecting the delivery of post-payment notifications for merchants using our modules. The incident is currently under investigation.

TSR-3421 - Début / Start : 19/06/2026 18:00:00 CEST - Fin / End : 20/06/2026 15:17:00 CEST - Catégorie / Category : Production/ Processing - Responsabilité / Responsibility : Externe - Priorité / Priority : P1 FR L’incident affectant l’envoi des notifications post-paiement pour les marchands utilisant les modules a été résolu. Le service a été rétabli à 15h17 et fonctionne désormais normalement. Des opérations seront menées afin de rejouer les notifications qui n’ont pas pu être envoyées depuis le début de l’incident, survenu hier à 18h00. EN The incident affecting the delivery of post-payment notifications for merchants using the modules has been resolved. Service was restored at 15:17 and is now operating normally. Operations will be carried out to replay the notifications that could not be sent since the beginning of the incident, which started yesterday at 18:00.

# _English version below_ # Post Mortem **Référence incident** TSR-3421 **Service concerné** Notifications de paiement. **Impact client** Les notifications de paiement n’étaient plus envoyées aux marchands. **Synthèse de l’incident** * **19 juin 18h :** envoi d’un volume massif de paiements. * **19 juin 18h30 : Début de l’incident.** * **20 juin 10h33 :** remontée d’alerte sur un problème de notification. * **20 juin 11h46 :** création d’une cellule de crise dédiée. Début des investigations. * **20 juin 11h48 :** identification de l’absence d’envoi des notifications de paiement. Poursuites des investigations. * **20 juin 12h50 : identification de la root cause.** * **20 juin 13h02 - 15h15 :** déploiement de diverses actions correctives. * **20 juin 15h17 : fin de l’incident.** * **20 juin 22h32 :** lancement d’automatismes pour renvoyer les notifications.  * **21 juin 11h57 :** confirmation du renvoi de l’ensemble des notifications.  ‌ **Root cause** Un volume anormalement élevé de notifications en échec, associé à des tentatives automatiques de réémission vers une URL indisponible, a saturé la file de traitement des notifications. Cette saturation a par conséquent bloqué l'envoi des notifications. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence d’alerting spécifique sur une file de traitement des notifications. | Ajout d’alerting spécifique pour détecter et anticiper proactivement toute saturation de la file de traitement. | | Absence de limite d’envoi de requête de paiement par marchand. | Mise en place d'un limite par marchand pour limiter les flux de notifications et prévenir toute saturation de la file de traitement. | | Gestion des timeouts inadaptés. | Révision des seuils de timeout pour prévenir la saturation des files de traitement des notifications. | | Retard dans la prise en charge de l’incident. | Révision de la procédure d’incident en heures non ouvrées et communication à certaines équipes. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3421 **Payment services affected by the incident** Payment notifications. **Client impact** Payment notifications were no longer sent to merchants. **Incident Overview** * **19 June 6:00pm:** a large volume of payment transactions was processed. * **19 June 6:30pm: incident began.** * **20 June 10:33am:** alert raised regarding a notification issue. * **20 June 11:46am:** a dedicated crisis management team was established. Investigations began. * **20 June 11:48am:** the failure to send payment notifications was identified. Investigations continued. * **20 June 12:50pm: root cause identified.** * **20 June 1:02pm – 3:15pm:** various corrective actions were deployed. * **20 June 3:17pm: incident resolved.** * **20 June 10:32pm:** automated processes were launched to resend the notifications. * **21 June 11:57am:** confirmation that all notifications had been successfully resent. ‌ **Root cause** An abnormally high volume of failed notifications, combined with automatic retry attempts to an unavailable URL, saturated the notification processing queue. As a result, the saturation prevented payment notifications from being sent. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | No specific alerting was in place for the notification processing queue. | Specific alerting has been introduced to detect and proactively anticipate any saturation of the processing queue. | | No per-merchant limit was in place for payment request submissions. | A per-merchant limit has been implemented to control notification traffic and prevent saturation of the processing queue. | | Inappropriate timeout settings. | A review of the timeout thresholds is underway to prevent saturation of the notification processing queues. | | Delay in incident response. | The out-of-hours incident management procedure is currently being reviewed and will be communicated to the relevant teams. |

FR Les reversements des 13, 14 et 15 juin prévus aujourd’hui n'ont pas pu être reversés dans leur intégralité. Nos équipes sont pleinement mobilisées afin de résoudre la situation dans les meilleurs délais et rétablir un traitement normal des reversements. Nous vous tiendrons informés de l'évolution de la situation dès que de nouvelles informations seront disponibles. EN The settlements relating to 13, 14 and 15 of June that were scheduled for today could not be processed in full. Our teams are fully mobilised to resolve the situation as quickly as possible and restore normal settlement processing. We will keep you informed of any developments as soon as further information becomes available. IT I versamenti del 13, 14 e 15 giugno previsti per oggi non hanno potuto essere effettuati integralmente. I nostri team sono pienamente impegnati a risolvere la situazione nel più breve tempo possibile e a ripristinare il normale processo di versamento dei fondi. Vi terremo informati sugli sviluppi della situazione non appena saranno disponibili nuove informazioni.

TSR-3389 - Début / Start / Inizio : 16/06/2026 - Fin / End /fine : 17/06/2026 - Catégorie / Category / Categoria: Production reversement / settlement / versamento - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità: P2. FR Les fonds restants n’ayant pas pu être reversés hier le seront aujourd'hui. Aucune action n’est requise de votre part et les fonds seront disponibles sur vos comptes comme habituellement. EN The remaining funds that could not be settled yesterday will be settled today. No action is required on your part and the funds will be available in your accounts as usual. IT I fondi rimanenti che non hanno potuto essere versati ieri saranno accreditati oggi. Non è richiesta alcuna azione da parte vostra e i fondi saranno disponibili sui vostri conti come di consueto.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-3389 **Service concerné** Reversement des transactions. **Impact client** Impossibilité de procéder au reversement de l’intégralité des transactions pendant la durée de l’incident, entraînant un retard de règlement des marchands. ‌ **Synthèse de l’incident** * **15 juin 10h10 :** remontées d’alertes indiquant que certains marchands n’ont pas reçu de fonds. **Début de l’incident** et début des premières analyses. * **15 juin 10h36 :** création d’une cellule de crise dédiée. * **15 juin 10h37 :** identification d’un problème de génération de certaines demandes de virements. * **15 juin 10h52 :** identification d’un second incident affectant la validation des virements. * **15 juin 11h11 :** résolution de l’incident affectant la validation des virements. * **15 juin 11h14 :** demande de validation des virements contenant les transactions du weekend et poursuite des investigations sur l’erreur de génération de certaines demandes de virements. * **15 juin 11h34 :** validation des virements du weekend & poursuites des investigations pour pouvoir envoyer les fonds le lendemain suite au dépassement du cutoff. * **15 juin 11h55 : identification de l’origine de l’incident.** * **15 juin 12h22 :** élaboration d’un plan d’action pour permettre l’envoi des fonds manquants le lendemain. * **15 juin 15h :** déploiement des actions correctives sous surveillance des équipes. * **15 juin 17h10 :** fin des actions correctives. **Fin de l’incident.** * **16 juin 7h30** : aucune alerte indiquant des erreurs. * **16 juin 9h30 :** vérification de la bonne génération des demandes de virement. * **16 juin 10h57 :** contrôle des virements par les équipes techniques. * **16 juin 10h59 :** les différents contrôles confirment le reversement de l’ensemble des fonds. **Root cause** Une erreur dans le déclenchement d’un lanceur de tâche a interrompu la génération des fichiers de virements et a ainsi empêché le reversement de certains fonds. ‌ **Actions prises par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence d’une alerte spécifique sur la non génération d’un fichier. | Ajout d’une alerte pour détecter des erreurs de non génération d’un fichier et anticiper un incident de reversement. | | Absence d’alerte spécifique sur l’échec d’un lanceur de tâches. | Réflexions en cours pour ajouter des alertes pouvant remonter des échecs dans un lanceur de tâches. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3389 **Payment services affected by the incident** Transaction settlement **Client impact** Inability to settle all transactions during the incident, resulting in delayed merchant settlements. ‌ **Incident Overview** * **15 June 10:10 am:** alerts were raised indicating that some merchants had not received their funds. **Incident start** and commencement of initial investigations. * **15 June 10:36 am:** a dedicated crisis management team was established. * **15 June 10:37 am:** a problem affecting the generation of certain bank transfer requests was identified. * **15 June 10:52 am:** a second incident affecting transfer validation was identified. * **15 June 11:11 am:** the incident affecting transfer validation was resolved. * **15 June 11:14 am:** request submitted for validation of transfers containing weekend transactions, while investigations continued into the error affecting the generation of certain transfer requests. * **15 June 11:34 am:** weekend transfers validated. Investigations continued to enable the missing funds to be sent the following day due to the cut-off time having been exceeded. * **15 June 11:55 am:** **root cause of the incident identified.** * **15 June 12:22 pm:** an action plan was developed to enable the missing funds to be sent the following day. * **15 June 3:00 pm:** corrective actions deployed under team supervision. * **15 June 5:10 pm:** corrective actions completed. **Incident resolved.** * **16 June 7:30 am:** no alerts indicating any errors. * **16 June 9:30 am:** verification of the correct generation of transfer requests. * **16 June 10:57 am:** transfers checked by the technical teams. * **16 June 10:59 am:** all checks confirmed that all funds had been successfully settled. **Root cause** An error in the triggering of a job scheduler interrupted the generation of bank transfer files, preventing the settlement of certain funds. ‌ **Actions taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | No specific alert was in place to detect the failure to generate a file. | An alert has been added to detect file generation failures and proactively identify potential settlement incidents. | | No specific alert was in place to detect failures of the job scheduler. | Discussions are underway to implement alerts capable of reporting failures within the job scheduler. |

FR Nous avons identifié des difficultés sur les paiements en ligne et en magasins. L'incident est en cours d'analyse. EN We have identified issues affecting online and in-store payments. An investigation is in progress. IT Abbiamo identificato delle difficoltà nei pagamenti online e nei punti vendita. L'incidente è in fase di analisi.

FR Nous avons identifié des difficultés sur la plateforme de paiement. Après analyse, il apparaît que l’incident est externe à notre plateforme. Nous vous tiendrons informés de l’évolution dès que de nouvelles informations seront disponibles. EN We have identified issues on the payment platform. Following analysis, it appears that the incident is external to our platform. We will keep you informed of any developments as soon as further information becomes available. IT Abbiamo identificato delle difficoltà sulla piattaforma di pagamento. Dopo un’analisi, risulta che l’incidente è esterno alla nostra piattaforma. Vi terremo aggiornati sugli sviluppi non appena saranno disponibili nuove informazioni.

TSR-XXXX - Début / Start : 07/06/2026 06:15:00 CEST - Fin / End : 07/06/2026 06:58:00 CEST - Catégorie / Category : Production/ Processing - Responsabilité / Responsibility : Externe - Priorité / Priority : P1 FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring.

FR Nous avons identifié des difficultés sur les paiements en ligne et en magasins entre 9h58 et 10h12. L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN We have identified issues affecting online and in-store payments from 9:58am to 10:12am. Incident is now resolved and service restored. Service recovery is still under monitoring. IT Abbiamo identificato delle difficoltà nei pagamenti online e nei punti vendita tra le 9:58 e le 10:12. L’incidente è ora risolto e il servizio è stato ripristinato. Continuiamo a monitorare la ripresa del servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-3279 **Service concerné** Paiements e-commerce, 3DS et en magasins. **Impact client** Impossibilité pour les porteurs d'effectuer des paiements. **Synthèse de l’incident** * **7 mai 9h58 :** **début de l’incident.** * **7 mai 9h59 :** remontée d’alerte. Début des investigations. * **7 mai 10h03 :** création d’une cellule de crise dédiée et poursuite des investigations. * **7 mai 10h09 : identification de l’origine de l’incident.** * **7 mai 10h10 :** lancement des actions correctives. * **7 mai 10h12 : fin de l’incident.** ‌ **Root cause** La mise à jour d’un composant technique a activé une option de sécurité qui a entraîné un redémarrage de l’ensemble des serveurs ainsi que d’une base de données. Les serveurs ayant redémarré avant la base de données, ils n’ont pas pu appeler les configuration des marchands présentes dans cette base de données ce qui a causé l’échec des paiements. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Redémarrage automatique des serveurs suite à la mise à jour de ce composant technique. | Désactivation du redémarrage automatique lié à ce composant technique spécifique. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3279 **Payment services affected by the incident** E-commerce, 3DS, and in-store payments. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **7 May 9:58am: start of the incident.** * **7 May 9:59am:** alert raised. Investigations started. * **7 May 10:03am:** dedicated crisis cell set up and investigations continued. * **7 May 10:09am: root cause identified.** * **7 May 10:10am:** corrective actions launched. * **7 May 10:12am:** **end of the incident.** ‌ **Root cause** The update of a technical component enabled a security option that triggered a restart of all servers as well as a database. As the servers restarted before the database, they were unable to retrieve the merchant configurations stored in the database, which caused payment failures. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Automatic server restart following the update of this technical component. | Disabling of the automatic restart linked to this specific technical component. |

FR Les reversements des 3,4 et 5 avril ont été effectués. Ceux du 6 et 7 avril initialement prévus aujourd’hui seront effectués demain. Aucune action n’est requise de votre part, et les fonds seront disponibles sur vos comptes comme habituellement. Les détails des virements correspondants seront mis à disposition aujourd'hui. EN The settlements for April 3, 4, and 5 have been completed. Those for 6 and 7 April, initially scheduled for today, will be carried out tomorrow. No action is required on your part, and the funds will be available in your accounts as usual. The details of the corresponding transfers will be made available today. IT I versamenti del 3, 4 e 5 aprile sono stati effettuati. Quelli del 6 e 7 aprile, inizialmente previsti per oggi, saranno effettuati domani. Non è richiesta alcuna azione da parte vostra e i fondi saranno disponibili sui vostri conti come di consueto. I dettagli dei bonifici corrispondenti saranno messi a disposizione oggi.

FR Les fonds des 6 et 7 avril ont été reversés. Ceux 8 avril initialement prévus aujourd’hui seront effectués demain. Aucune action n’est requise de votre part, et les fonds seront disponibles sur vos comptes comme habituellement. EN The funds for April 6 and 7 have been settled. Those for 8 April, initially scheduled for today, will be carried out tomorrow. No action is required on your part, and the funds will be available in your accounts as usual. IT I fondi del 6 e 7 aprile sono stati trasferiti. Quelli dell’8 aprile, inizialmente previsti per oggi, saranno effettuati domani. Non è richiesta alcuna azione da parte vostra e i fondi saranno disponibili sui vostri conti come di consueto.

FR L'intégralité des fonds sera reversé dans la journée. Les détails des virements correspondants seront mis à disposition aujourd'hui. EN All funds will be transferred during the day. The details of the corresponding transfers will be made available today. IT L’intero importo dei fondi sarà trasferito durante la giornata. I dettagli dei bonifici corrispondenti saranno messi a disposizione oggi.

TSR-3077 - Début / Start : 16/03/2026 - Fin / End : En cours / Ongoing - Catégorie / Category : Reversements / Settlements - Responsabilité / Responsibility : A confirmer / To be confirmed - Priorité / Priority : P1 FR Un incident impacte actuellement l’émission des virements. Les virements prévus aujourd’hui ne pourront pas être effectués. Nos équipes sont mobilisées pour résoudre la situation et nous vous tiendrons informés dès que les virements pourront être envoyés. EN An incident is currently affecting the issuance of settlements. The settlements scheduled for today will not be able to be carried out. Our teams are actively working to resolve the situation, and we will keep you informed as soon as the transfers can be sent. IT Un incidente sta attualmente impattando l’emissione dei versamenti. I bonifici previsti per oggi non potranno essere effettuati. I nostri team sono mobilitati per risolvere la situazione e vi terremo informati non appena i bonifici potranno essere inviati.

TSR-3077 - Début / Start : 16/03/2026 - Fin / End : En cours / Ongoing - Catégorie / Category : Reversements / Settlements - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR Des actions correctives ont été menées pour rattraper les fichiers de reversements d’hier. Toutefois, un problème empêche actuellement leur validation. Nos équipes sont mobilisées pour rétablir la situation dans les plus brefs délais. EN Corrective actions have been carried out to recover yesterday’s settlements files. However, an issue is currently preventing their validation. Our teams are working to restore the situation as quickly as possible. IT Sono state intraprese azioni correttive per recuperare i file dei versamenti di ieri. Tuttavia, un problema impedisce attualmente la loro validazione. I nostri team sono mobilitati per ripristinare la situazione nel più breve tempo possibile.

TSR-3077 - Début / Start : 16/03/2026 - Fin / End : En cours / 17/03/2026 - Catégorie / Category : Reversements / Settlements - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR Les reversements des 16 et 17 mars ont été validés. Les fonds seront disponibles dans la journée. EN The settlements for 16 and 17 March have been validated. The funds will be available today. IT I versamenti del 16 e 17 marzo sono stati validati. I fondi saranno disponibili durante la giornata.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-3077 **Service concerné** Reversement des paiements e-commerce et magasin. **Impact client** Impossibilité de procéder au reversement des transactions pendant la durée de l’incident, entraînant un retard de règlement des marchands. ‌ **Synthèse de l’incident** * **16 mars 11h02 :** création d’une cellule de crise dédiée et début des investigations. * **16 mars 11h05 :** identification d’un échec de dépôt des fichiers de reversements. * **16 mars 11h15 :** identification d’un second problème : impossibilité d’accéder à l’outil permettant la validation des virements. * **16 mars 11h15 - 12h :** poursuite des investigations. * **16 mars 12h :** confirmation de l’impossibilité de débloquer les fonds le jour même. * **16 mars 12h - 18h30 :** poursuite des investigations. * **17 mars 9h :** reprise de la cellule de crise. * **17 mars 9h28 :** récupération des fichiers de virements de la veille. Poursuite des investigations. * **17 mars 10h23 : identification d’une solution de contournement permettant d’envoyer les fonds.**  * **17 mars 10h23 - 11h15 :** tests pour vérifier le bon fonctionnement de la solution. Tests concluants. * **17 mars 11h30 :** validation des fichiers de reversements. **Fin de l’incident.**  * **17 mars 12h09 :** confirmation du traitement des fichiers et du transfert des fonds dans la journée. ‌ **Root cause** Une opération de migration a introduit une incohérence dans les données techniques utilisées par le système de validation des virements, en raison d’un défaut entre deux mécanismes. Cette situation a bloqué le traitement normal des validations. **Actions prises par Payplug** Un retour arrière vers la dernière version stable a été initié afin de restaurer le service. Cette opération a permis de rétablir l’ensemble des fonctionnalités de validation des virements de manière fiable. ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3077 **Payment services affected by the incident** E-commerce & in-store payments settlement. **Client impact** Inability to process the reversal of transactions during the incident period, resulting in a delay in merchant settlement. ‌ **Incident Overview** * **16 March 11:02am:** creation of a dedicated crisis team and start of investigations. * **16 March 11:05am:** identification of a failure in the submission of disbursement files. * **16 March 11:15am:** identification of a second issue: inability to access the tool used to validate transfers. * **16 March 11:15am – 12:00pm:** ongoing investigations. * **16 March 12:00pm:** confirmation that funds could not be released on the same day. * **16 March 12:00pm – 6:30pm:** ongoing investigations. * **17 March 9:00am:** crisis team resumed. * **17 March 9:28am:** recovery of the previous day’s transfer files. Ongoing investigations. * **17 March 10:23am:** **identification of a workaround enabling the funds to be sent.** * **17 March 10:23am – 11:15am:** testing to verify the solution. Tests successful. * **17 March 11:30am:** validation of disbursement files. **Incident resolved.** * **17 March 12:09pm:** confirmation that files were processed and funds would be transferred during the day. ‌ **Root cause** A migration introduced an inconsistency in the technical data used by the transfer validation system, due to a discrepancy between two mechanisms, which prevented the normal processing of validations. **Actions taken by Payplug** A rollback to the last stable version was initiated to restore the service. This operation successfully restored all transfer validation functionalities.

FR Nous avons identifié des difficultés sur la plateforme de paiement. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on the payment platform. An investigation is in progress. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti. L'incidente è in fase di analisi.

TSR-3011 - Début / Start : 02/03/2026 12h28 CET - Fin / End : 02/03/2026 13h01 CET - Catégorie / Category : Production Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring. IT L'incidente è stato risolto e il servizio è stato ripristinato. Continuiamo a monitorare la ripresa del servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-3011 **Service concerné** Paiements e-commerce, 3DS et en magasins. **Impact client** Impossibilité pour les porteurs d’effectuer des paiements.  **Synthèse de l’incident** * **2 mars 12h26 :** déploiement d’une mise en production. * **2 mars 12h28 : début de l’incident.** * **2 mars 12h29 :** première remontée d’alerte. * **2 mars 12h33 :** création d’une cellule de crise dédiée. Début des investigations. * **2 mars 12h37 :** identification d’erreurs sur un service. * **2 mars 12h56 : identification de l’origine de l’incident.** * **2 mars 13h :** mise en place d’actions correctives. * **2 mars 13h01 : reprise du trafic e-commerce & 3DS.** * **2 mars 13h38 :** remontée d’erreurs sur certains paiements en magasins. Poursuite des investigations. * **2 mars 13h50  :** identification et redémarrage des services en erreur. **Fin de l’incident.**  ‌ **Contexte** N/A **Root cause** Une mise en production a entraîné la mise en pause des points d’entrées des services acceptant les transactions. Ces points d’entrées étant en pause, ils n’acceptaient plus les transactions et ont causé l’interruption du trafic. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Déploiement d’une mise en production sur un horaire critique. | Rappel du processus de déploiement pour éviter les mises en production sur un horaire critique. | | Monitoring défaillant sur les points d’entrées des services acceptant les transactions. | Renforcement du monitoring sur les points d’entrées et sur les services répartissant les transactions. | | Absence de contrôle sur un certificat spécifique suite déploiement d’une mise en production. | Ajout de contrôle pour vérifier l’état du certificat après déploiement d’une mise en production. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3011 **Payment services affected by the incident** E-commerce payments, 3DS and in-store payments. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **2 March 12:26pm:** production deployment. * **2** **March 12:28pm:** **start of the incident.** * **2 March 12:29pm:** first alert raised. * **2 March 12:33pm:** dedicated crisis team established. Investigations begin. * **2 March 12:37pm:** errors identified on a service. * **2 March 12:56pm:** **root cause of the incident identified.** * **2 March 1:00pm:** corrective actions implemented. * **2 March 1:01pm: resumption of e-commerce and 3DS traffic.** * **2 March 1:38pm:** errors reported on certain in-store payments. Investigations continue. * **2 March 1:50pm:** identification and restart of the affected services. **End of the incident.** ‌ **Context** N/A **Root cause** A production deployment resulted in the pausing of the entry points of the services handling transactions. As these entry points were paused, they no longer accepted transactions, which caused the interruption of traffic. ‌ **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Production deployment carried out during a critical time window. | Reminder of the deployment process to avoid production deployments during critical time windows. | | Insufficient monitoring on the entry points of the services accepting transactions. | Strengthening of monitoring on the entry points and on the services distributing transactions. | | Lack of verification of a specific certificate following a production deployment. | Addition of checks to verify the status of the certificate after a production deployment. |

Bonjour, Des perturbations sont en cours depuis 8h00 ce jour concernant l’authentification 3-D Secure. Cet incident externe à notre plateforme concerne les porteurs de carte Crédit agricole. Nous vous tiendrons informés lorsque l’incident sera résolu. -------------- In Italian: Buongiorno, Ci sono delle perturbazioni in corso dalle 9:00 di oggi riguardanti l'autenticazione 3-D Secure. Sono principalmente i titolari delle carte MasterCard ad essere interessati. Questo incidente, esterno alla nostra piattaforma, riguarda circa il 30 al 50% delle richieste di autenticazione 3-D Secure. Vi terremo informati non appena l'incidente sarà risolto. -------------- In English : Hello, Disruptions are ongoing since 8:00AM this day regarding 3D-Secure authentication. This incident is external from our platform. Crédit Agricole's cardholders are mainly impacted. We'll keep you updated as soon as the incident is resolved.

L'incident externe est toujours en cours. Nous vous tiendrons informés en cas de changements. --------------- The incident is still ongoing. We'll keep you updated in case of any changes.

EXTERNE - Dysfonctionnements en cours concernant l'authentification 3-D Secure (9:00CET - 15:00 CET) FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring. IT L'incidente è stato risolto e il servizio è stato ripristinato. Continuiamo a monitorare la ripresa del servizio.

# _English version below_ # Post Mortem **Référence incident** TSR-2981 **Service concerné** Paiements E-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. **Synthèse de l’incident** * **21 février 5h : début de l’incident.** * **21 février 6h23 :** remontée d’alerte. Le seuil d’erreur est trop faible à ce stade pour déclencher l’astreinte. * **21 février 8h32 :** création d’une cellule de crise dédiée par l’astreinte. Début des investigations. * **21 février 8h34 :** identification d’échecs de paiements provenant d’un réseau bancaire spécifique. * **21 février 9h-13h :** poursuite des analyses. * **21 février 13h30 : fin de l’incident.** * **21 février 14h41 :** confirmation par le réseau d’un incident chez eux. **Contexte** N/A **Root cause** Incident externe provenant d’un réseau bancaire. ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2981 **Payment services affected by the incident** E-commerce payments & 3DS. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **21 February 5:00am: start of the incident.** * **21 February 6:23am:** alert raised. The error threshold is too low at this stage to trigger the on-call escalation team. * **21 February 8:32am:** dedicated crisis team established by the on-call team. Investigations begin. * **21 February 8:34am:** payment failures identified originating from a specific banking network. * **21 February 9:00am – 1:00pm:** ongoing analysis. * **21 February 1:30pm: end of the incident.** * **21 February 2:41pm:** confirmation from the network of an incident on their side. **Context** N/A **Root cause** External incident originating from a banking network.

FR Nous avons identifié des difficultés sur la plateforme de paiement. Les transactions concernées sont exclusivement celles traitées via Crédit Agricole. Les premières analyses indiquent que l’origine de l’incident est externe à notre plateforme. EN We have identified ongoing difficulties on the payment platform. The impacted transactions are limited to those processed via Crédit Agricole. Initial investigations indicate that the root cause of the incident is external to our platform.

FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-2964 **Service concerné** Paiements e-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. **Synthèse de l’incident** * **19 février 10h19 : début de l’incident.** * **19 février 10h24 :** création d’une cellule de crise dédiée et début des investigations. * **19 février 10h27 :** identification d’erreurs provenant groupe bancaire externe spécifique. * **19 février 10h29 :** contact d’un partenaire pour obtenir des informations supplémentaires concernant l’incident. * **19 février 10h39 :** retour du partenaire confirmant l’incident chez le groupe bancaire externe. * **19 février 10h51 :** contact du groupe bancaire concerné. * **19 février 10h56 : fin de l’incident.** * **19 février 11h :** le groupe bancaire indique que l’incident provient d’un prestataire externe.  **Contexte** N/A **Root cause** Incident externe chez le prestataire d’un groupe bancaire externe. ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2964 **Payment services affected by the incident** E-commerce payments & 3DS. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **19 February 10:19am: start of the incident.** * **19 February 10:24am:** dedicated crisis team established and investigations begin. * **19 February 10:27am:** errors identified originating from a specific external banking group. * **19 February 10:29am:** a partner is contacted to obtain further information regarding the incident. * **19 February 10:39am:** feedback from the partner confirming the incident within the external banking group. * **19 February 10:51am:** the banking group concerned is contacted. * **19 February 10:56am: end of the incident.** * **19 February 11:00am:** the banking group indicates that the incident originated from an external service provider. **Context** N/A **Root cause** External incident at a service provider of an external banking group.

FR Nous avons identifié des difficultés sur le Portail Payplug. L'incident est en cours d'analyse. EN We have identified issues with the Payplug Poral. Investigation is in progress. IT Abbiamo identificato delle difficoltà con il portale di Payplug. L'incidente è in fase di analisi.

TSR-2951 - Début / Start / Inizio : 17/02/2026 16h CET - Fin / End /fine : 17/02/2026 18h52 CET - Catégorie / Category / Categoria: Production Portail. - Responsabilité / Responsibility / Responsabilità : Payplug. - Priorité / Priority / Priorità: P1. FR La situation est revenue à la normale suite au déploiement d'un correctif. Nous continuons de monitorer le service. EN The situation has returned to normal following the deployment of a fix. We are continuing to monitor the service. IT La situazione è tornata alla normalità a seguito del rilascio di una correzione. Continuiamo a monitorare il servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-2951 **Service concerné** Portail **Impact client** Problèmes de connexion pour accéder au Portail et messages d’erreurs intempestifs une fois connecté. **Synthèse de l’incident** * **16 février 15h15 :** déploiement d’une mise en production. * **16 février 15h18 :** des problèmes de connexions  - déconnexions ainsi que des messages d’erreurs apparaissent sur le Portail. **Début de l’incident.** * **16 février 15h34 :** remontée d’alerte. Début des investigations. * **16 février 15h53 :** création d’une cellule incident majeur.  * **16 février 15h58 :** communication Statuspage. Identification d’une mise en production concordant avec le début de l’incident. Lancement de l’annulation de la mise en production. * **16 février 16h08 :** échec de l’annulation de la mise en production. * **16 février 16h25 : identification de l’origine de l’incident.** * **16 février 16h33 :** des problèmes de connexions persistent. Lancement du retour à une version précédente de certains services défaillants identifiés. * **16 février 16h54 :** redémarrage des services avec la version précédente. * **16 février 16h59 :** fin des problèmes de connexions sur le Portail. * **16 février 17h06 :** fin des messages d’erreurs sur le Portail. **Fin de l’incident.**  * **17 février 16h16 :** **résurgence des erreurs.** * **17 février 16h29-18h35 :** création d’une cellule de crise et reprise des analyses. * **17 février 18h40 : identification de l’origine de l’incident et déploiement d’un correctif.** * **17 février 18h52 : Fin de l’incident.** **Contexte** N/A **Root cause** Une mise en production a généré des problèmes d’accès entre nos services internes. Ces problèmes ont engendré une déconnexion forcée de l’utilisateur qui revenait sur sa page d’authentification. La seconde occurrence a été provoquée suite à une nouvelle mise en production qui a récupéré les mauvais identifiants suite au rollback de la veille.  ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Désynchronisation de certains paramètres d’une clef API. | Mise à jour de l’ensemble des paramètres désynchronisés. | | Renouvellement automatique de la clef API. | Investigations en cours pour empêcher le renouvellement automatique de la clef API. | | Absence d’alerte concernant la désynchronisation de certains paramètres de l’API. | Ajout de messages d’erreurs en cas de désynchronisation des paramètres & amélioration de l’alerting. | | Complexités sur un service de déploiement. | Améliorer les déploiements sur le service gérant les secrets \(API KEY, mots de passe internes...\). | | Déconnexion forcée si un service sur l’ensemble est indisponible. | Améliorations en cours pour éviter de déconnecter les utilisateurs dès qu’un service est indisponible. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2951 **Payment services affected by the incident** Portal **Client impact** Connection issues when accessing the Portal and unexpected error messages once logged in. **Incident Overview** * **16 February 3:15pm:** deployment to production. * **16 February 3:18pm:** connection issues – disconnections as well as error messages appear on the Portal. **Start of the incident.** * **16 February 3:34pm:** alert raised. Investigations begin. * **16 February 3:53pm:** major incident team established. * **16 February 3:58pm:** Statuspage communication issued. A production deployment coinciding with the start of the incident is identified. Rollback of the deployment initiated. * **16 February 4:08pm:** rollback of the production deployment unsuccessful. * **16 February 4:25pm: root cause of the incident identified.** * **16 February 4:33pm:** connection issues persist. Rollback to a previous version of certain identified faulty services initiated. * **16 February 4:54pm:** services restarted with the previous version. * **16 February 4:59pm:** end of connection issues on the Portal. * **16 February 5:06pm:** end of error messages on the Portal. **Incident resolved.** * **17 February 4:16pm: Recurrence of errors.** * **17 February 4:29pm–6:35pm:** crisis team established and investigations resumed. * **17 February 6:40pm: root cause identified and fix deployed.** * **17 February 6:52pm: incident resolved.** **Context** N/A **Root cause** A production deployment caused access issues between our internal services. These issues resulted in users being forcibly logged out and redirected back to the authentication page. The second occurrence was triggered by a subsequent production deployment that retrieved incorrect credentials following the rollback carried out the previous day. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Desynchronisation of certain API key parameters. | Update of all desynchronised parameters. | | Automatic renewal of the API key. | Investigations ongoing to prevent the automatic renewal of the API key. | | No alert triggered regarding the desynchronisation of certain API parameters. | Addition of error messages in the event of parameter desynchronisation & improvement of alerting. | | Complexities within a deployment service. | Improvements to deployments on the service managing secrets \(API keys, internal passwords, etc.\). | | Forced logout if any service within the ecosystem becomes unavailable. | Improvements underway to prevent users from being logged out as soon as a service becomes unavailable. |

FR Nous avons identifié des difficultés sur le Portail Payplug. L'incident est en cours d'analyse. EN We have identified issues with the Payplug Poral. Investigation is in progress. IT Abbiamo identificato delle difficoltà con il portale di Payplug. L'incidente è in fase di analisi.

FR Les investigations sont toujours en cours. Nous reviendrons vers vous dans 15 minutes. EN Investigations are still ongoing. We'll get back to you in 15 minutes. IT Le indagini sono ancora in corso. Ti contatteremo entro 15 minuti.

FR Les investigations sont toujours en cours. Nous reviendrons vers vous dans 15 minutes. EN Investigations are still ongoing. We'll get back to you in 15 minutes. IT Le indagini sono ancora in corso. Ti contatteremo entro 15 minuti.

TSR-2951 - Début / Start / Inizio : 16/02/2026 15h18 CET - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Portail. - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Les investigations sont toujours en cours. Nous reviendrons vers vous dans 15 minutes. EN Investigations are still ongoing. We'll get back to you in 15 minutes. IT Le indagini sono ancora in corso. Ti contatteremo entro 15 minuti.

TSR-2951 - Début / Start / Inizio : 16/02/2026 15h18 CET - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Portail. - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Les demandes de retraits et l'accès au Portail sont actuellement pertubés. Des soucis de déconnexions et des messages d'erreurs peuvent apparaître. Nous travaillons à rétablir le service dès que possible. EN Transfer requests and access to the Portal are currently disrupted. Users may experience unexpected logouts and error messages. We are working to restore the service as soon as possible. IT Le richieste di prelievo e l’accesso al Portale sono attualmente disturbati. Possono verificarsi disconnessioni e messaggi di errore. Stiamo lavorando per ripristinare il servizio il prima possibile.

TSR-2951 - Début / Start / Inizio : 16/02/2026 15h18 CET - Fin / End /fine : 16/02/2026 16h59 CET - Catégorie / Category / Categoria: Production Portail. - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR La situation revient progressivement à la normale depuis 16h59. Nous continuons de monitorer le service. EN The situation has been gradually returning to normal since 4:59pm. We continue to monitor the service. IT La situazione sta tornando progressivamente alla normalità dalle 16:59. Continuiamo a monitorare il servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-2951 **Service concerné** Portail **Impact client** Problèmes de connexion pour accéder au Portail et messages d’erreurs intempestifs une fois connecté. **Synthèse de l’incident** * **16 février 15h15 :** déploiement d’une mise en production. * **16 février 15h18 :** des problèmes de connexions  - déconnexions ainsi que des messages d’erreurs apparaissent sur le Portail. **Début de l’incident.** * **16 février 15h34 :** remontée d’alerte. Début des investigations. * **16 février 15h53 :** création d’une cellule incident majeur.  * **16 février 15h58 :** communication Statuspage. Identification d’une mise en production concordant avec le début de l’incident. Lancement de l’annulation de la mise en production. * **16 février 16h08 :** échec de l’annulation de la mise en production. * **16 février 16h25 : identification de l’origine de l’incident.** * **16 février 16h33 :** des problèmes de connexions persistent. Lancement du retour à une version précédente de certains services défaillants identifiés. * **16 février 16h54 :** redémarrage des services avec la version précédente. * **16 février 16h59 :** fin des problèmes de connexions sur le Portail. * **16 février 17h06 :** fin des messages d’erreurs sur le Portail. **Fin de l’incident.**  * **17 février 16h16 :** **résurgence des erreurs.** * **17 février 16h29-18h35 :** création d’une cellule de crise et reprise des analyses. * **17 février 18h40 : identification de l’origine de l’incident et déploiement d’un correctif.** * **17 février 18h52 : Fin de l’incident.** **Contexte** N/A **Root cause** Une mise en production a généré des problèmes d’accès entre nos services internes. Ces problèmes ont engendré une déconnexion forcée de l’utilisateur qui revenait sur sa page d’authentification. La seconde occurrence a été provoquée suite à une nouvelle mise en production qui a récupéré les mauvais identifiants suite au rollback de la veille.  ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Désynchronisation de certains paramètres d’une clef API. | Mise à jour de l’ensemble des paramètres désynchronisés. | | Renouvellement automatique de la clef API. | Investigations en cours pour empêcher le renouvellement automatique de la clef API. | | Absence d’alerte concernant la désynchronisation de certains paramètres de l’API. | Ajout de messages d’erreurs en cas de désynchronisation des paramètres & amélioration de l’alerting. | | Complexités sur un service de déploiement. | Améliorer les déploiements sur le service gérant les secrets \(API KEY, mots de passe internes...\). | | Déconnexion forcée si un service sur l’ensemble est indisponible. | Améliorations en cours pour éviter de déconnecter les utilisateurs dès qu’un service est indisponible. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2951 **Payment services affected by the incident** Portal **Client impact** Connection issues when accessing the Portal and unexpected error messages once logged in. **Incident Overview** * **16 February 3:15pm:** deployment to production. * **16 February 3:18pm:** connection issues – disconnections as well as error messages appear on the Portal. **Start of the incident.** * **16 February 3:34pm:** alert raised. Investigations begin. * **16 February 3:53pm:** major incident team established. * **16 February 3:58pm:** Statuspage communication issued. A production deployment coinciding with the start of the incident is identified. Rollback of the deployment initiated. * **16 February 4:08pm:** rollback of the production deployment unsuccessful. * **16 February 4:25pm: root cause of the incident identified.** * **16 February 4:33pm:** connection issues persist. Rollback to a previous version of certain identified faulty services initiated. * **16 February 4:54pm:** services restarted with the previous version. * **16 February 4:59pm:** end of connection issues on the Portal. * **16 February 5:06pm:** end of error messages on the Portal. **Incident resolved.** * **17 February 4:16pm: Recurrence of errors.** * **17 February 4:29pm–6:35pm:** crisis team established and investigations resumed. * **17 February 6:40pm: root cause identified and fix deployed.** * **17 February 6:52pm: incident resolved.** **Context** N/A **Root cause** A production deployment caused access issues between our internal services. These issues resulted in users being forcibly logged out and redirected back to the authentication page. The second occurrence was triggered by a subsequent production deployment that retrieved incorrect credentials following the rollback carried out the previous day. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Desynchronisation of certain API key parameters. | Update of all desynchronised parameters. | | Automatic renewal of the API key. | Investigations ongoing to prevent the automatic renewal of the API key. | | No alert triggered regarding the desynchronisation of certain API parameters. | Addition of error messages in the event of parameter desynchronisation & improvement of alerting. | | Complexities within a deployment service. | Improvements to deployments on the service managing secrets \(API keys, internal passwords, etc.\). | | Forced logout if any service within the ecosystem becomes unavailable. | Improvements underway to prevent users from being logged out as soon as a service becomes unavailable. |

FR Nous avons identifié des difficultés sur le processing de paiements qui semble lié à un incident chez Cloudflare. EN We have identified difficulties with payment processing which appear to be related to an incident at Cloudflare. IT Abbiamo individuato delle difficoltà nell'elaborazione dei pagamenti che sembrano essere correlate a un incidente avvenuto su Cloudflare.

We are continuing to investigate this issue.

TSR-2651 - Début / Start : 04/12/2025 09h48 CET - Fin / End : 04/12/2025 10h13 CET - Catégorie / Category : Production Processing - Responsabilité / Responsibility : Externe / External - Priorité / Priority : P1 FR Le processing est en train de revenir depuis 10h13. Nous continuons de monitorer le service. EN Processing has been recovering since 10:13am. We continue to monitor the service. Il processing sta tornando dalle 10:13. Continuiamo a monitorare il servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-2651 **Service concerné** Paiements e-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. ‌ **Synthèse de l’incident** * **5 décembre 09h48 : début de l’incident** et remontées d’alertes. * **5 décembre 09h52 :** création d’une cellule de crise dédiée. Début des investigations et suspicion d’un incident chez Clouflare. * **5 décembre 09h54 :** confirmation de l’incident chez Cloudflare. * **5 décembre 10h :** communication Statuspage. * **5 décembre 10h13 : fin de l’incident.** ‌ **Contexte** N/A **Root cause** Incident chez Clouflare. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence d’alternative en cas de défaillance de Cloudflare. | Étude en cours sur les alternatives pour avoir une solution de backup en cas d’incident. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2651 **Payment services affected by the incident** E-commerce payments and 3DS. **Client impact** Inability for cardholders to make payments. ‌ **Incident Overview** * **5 December 09:48am: start of the incident** and alerts raised. * **5 December 09:52am:** establishment of a dedicated crisis unit. Start of investigations and suspicion of an incident at Cloudflare. * **5 December 09:54am:** confirmation of the incident at Cloudflare. * **5 December 10:00am:** Statuspage communication. * **5 December 10:13am: end of the incident.** ‌ **Context** N/A **Root cause** Incident at Cloudflare. **Actions to be taken by Payplug** | **Symptomes** | **Actions** | | --- | --- | | Lack of an alternative in the event of a Cloudflare failure. | A study is currently under way on alternatives to provide a backup solution in the event of an incident. |

FR Les reversements du 2 décembre initialement prévus aujourd’hui seront effectués demain. Aucune action n’est requise de votre part, et les fonds seront disponibles sur vos comptes comme habituellement. Les détails des virements correspondants seront mis à disposition aujourd'hui. EN The payouts for 2 December, originally scheduled for today, will be processed tomorrow. No action is required on your part, and the funds will be available in your accounts as usual. The details of the corresponding transfers will be made available today.

A fix has been implemented and we are monitoring the results.

FR Les reversements du 2 décembre ont bien été effectués. En revanche, les reversements du 3 décembre initialement prévus aujourd’hui seront effectués demain. Aucune action n’est requise de votre part, et les fonds seront disponibles sur vos comptes comme habituellement. Les détails des virements correspondants seront mis à disposition aujourd'hui. EN The payouts for 2 December have been successfully processed. However, the payouts for 3 December, which were originally scheduled for today, will be processed tomorrow. No action is required on your part, and the funds will be available in your accounts as usual. The details of the corresponding transfers will be made available today.

FR Nous vous confirmons le reversement des transactions 3 décembre. Nous somes à jour sur les reversements. EN We confirm the payouts of the transactions from 3 December. We are up to date with the payouts. IT Vi confermiamo il rimborso delle transazioni del 3 dicembre. Siamo aggiornati sui rimborsi.

FR Les documents comptables ne peuvent actuellement plus être exportés depuis le Portail. Les documents restent consultables en ligne. Nos équipes investiguent activement la cause du problème. EN Accounting documents can no longer be exported from the Portal at this time. The documents remain available for online viewing. Our teams are actively investigating the cause of the issue. IT I documenti contabili non possono attualmente più essere esportati dal Portale. I documenti restano consultabili online. I nostri team stanno investigando attivamente la causa del problema.

TSR- 2453 - Début / Start / Inizio : A confirmer / To be confirmed / Da confermare. - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Portail. - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P3. FR L'incident semble affecter uniquement les tentatives d'exports réalisées avec Google Chrome. Les documents comptables sont téléchargeables avec Firefox. Nos équipes continuent d'investiguer pour détecter l'origine de l'incident. EN The incident appears to affect only export attempts made with Google Chrome. Accounting documents can be downloaded using Firefox. Our teams are continuing to investigate to determine the source of the incident. IT L'incidente sembra influenzare solo i tentativi di esportazione effettuati con Google Chrome. I documenti contabili possono essere scaricati utilizzando Firefox. I nostri team continuano a investigare per individuare l'origine dell'incidente.

TSR- 2453 - Début / Start / Inizio : 21/10/2025 8h30 - Fin / End /fine : 21/10/2025 13h54 - Catégorie / Category / Categoria : Production Portail. - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità : P3. FR Les documents comptables sont de nouveau téléchargeables depuis Google Chrome. Nos équipes continuent de monitorer le service. EN Accounting documents can now be downloaded again using Google Chrome. Our teams continue to monitor the service. IT Documenti contabili possono nuovamente essere scaricati tramite Google Chrome. I nostri team continuano a monitorare il servizio.

This incident has been resolved.

# _English version below_ # Post Mortem **Référence incident** TSR-2453 **Service concerné** Portail marchand. **Impact client** Impossibilité pour les marchands d’exporter les documents comptables. **Synthèse de l’incident** * **21 octobre 8h30 :** demandes d’exports volumineuses répétées par un utilisateur. **Début de l’incident.** * **21 octobre 9h48 :** remontées d’alertes sur l'indisponibilité des documents comptables.    * **21 octobre 9h50 :** création d’un ticket auprès des équipes techniques. Début des investigations.  * **21 octobre 10h02 :** communication Statuspage. * **21 octobre 10h07 :** escalade du ticket. * **21 octobre 10h30 :** identification d’une solution de contournement transmise aux marchands. * **21 octobre 11h19 :** identification de l’origine de l’incident.  * **22 octobre 16h43 :** mise en place d’actions pour éviter la reproduction de l’incident. **Fin de l’incident.**  * **Depuis le 23 octobre:** poursuite des investigations pour traiter la cause profonde. ‌ **Contexte** N/A **Root cause** Le service de génération des exports comptables a été impacté par des demandes très volumineuses et répétées faites par des utilisateurs. Ces demandes ont créé une surcharge et ont rendu le service inaccessible.  ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Méconnaissance de l’impact de demandes volumineuses et répétées d’exports. | Mise en place d’une alerte dès qu’un export important est demandé. Rédaction d’une procédure en cas de reproduction de la situation. | | Saturation du service de génération des exports comptables. | Investigations en cours. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2453 **Payment services affected by the incident** Merchant portal. **Client impact** Merchants unable to export accounting documents. **Incident Overview** * **21 October 8:30am:** repeated large export requests by a user. **Start of the incident.** * **21 October 9:48am:** alerts raised regarding the unavailability of accounting documents. * **21 October 9:50am:** ticket created for the technical teams. Start of investigations. * **21 October 10:02am:** Statuspage communication issued. * **21 October 10:07am:** ticket escalated. * **21 October 10:30am:** identification of a workaround shared with merchants. * **21 October 11:19am:** identification of the root cause of the incident. * **22 October 4:43pm:** implementation of measures to prevent recurrence. **End of the incident.** * **Since October 23rd :** Ongoing investigations to address the root cause. ‌ **Context** N/A **Root cause** The accounting export generation service was affected by very large and repeated requests made by several users. These requests caused an overload, making the service inaccessible. ‌ **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Lack of awareness of the impact of large and repeated export requests. | Implementation of an alert whenever a large export is requested. Drafting of a procedure in case the situation recurs. | | Saturation of the accounting export generation service. | Investigations ongoing. |

TSR-2228 - Début / Start : 04/09/2025 - Fin / End : En-cours / Ongoing - Catégorie / Category : Reversement / Settlement - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR Le reversement de certaines opérations de paiement e-commerce et magasin qui aurait dû être effectué aujourd'hui n'a pas pu être effectué dans les temps. La réconciliation financière correspondante sera mise à disposition aujourd'hui. L’origine de l’incident a été identifiée et les virements non exécutés seront automatiquement reportés et traités demain, sans qu’aucune action ne soit nécessaire de votre part. EN The payout of certain e-commerce and in-store payment transactions that should have been carried out today could not be completed on time. The corresponding financial reconciliation will be made available today. The cause of the incident has been identified, and the payments not executed will be automatically postponed and processed tomorrow, with no action required on your part.

TSR-2228 - Début / Start : 04/09/2025 - Fin / End : En-cours / Ongoing - Catégorie / Category : Reversement / Settlement - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR Nous confirmons le rattrapage des virements qui seront reversés demain. Nous continuons de monitorer le service. EN We confirm the recovery of the transfers, which will be paid out tomorrow. We continue to monitor the service.

TSR-2228 - Début / Start : 04/09/2025 - Fin / End : 05/09/2025 - Catégorie / Category : Reversement / Settlement - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR Les opérations de paiement e-commerce et magasin non reversées hier ont été reversées aujourd'hui. La réconciliation financière correspondante intègre bien les transactions rattrapées. EN The e-commerce and in-store payment operations that were not settled yesterday have been settled today. The corresponding financial reconciliation accurately includes the recovered transactions.

# _English version below_ # Post Mortem **Référence incident** TSR-2228 **Service concerné** Reversement des paiements e-commerce et magasin. **Impact client** Reversement partiel des transactions.  **Synthèse de l’incident** * **4 septembre 7h30 :** début de saturation des files traitant différents flux. **Début de l’incident.** * **4 septembre 8h50 :** détection d’un retard dans le traitement des virements. Création d’une cellule de crise dédiée et début des analyses. * **4 septembre 8h53 :** identification de la saturation de flux dû à une tâche qui tourne en boucle sans succès. * **4 septembre 8h56 :** tests pour répartir certains flux sur des routes secondaires pour éviter la saturation.  * **4 septembre 9h09 :** déplacement de certains flux non affectés par l’incident sur d’autres routes. Poursuite des analyses pour tenter de relancer les virements dans la journée. * **4 septembre 10h :** relance des traitements des virements après plusieurs actions menées pour s’assurer d’éviter des effets de bords. * **4 septembre 11h57 :** fin des traitements après l’heure limite. Certains virements seront réalisés le lendemain. * **5  septembre :** reversement des transactions. **Fin de l’incident.**  **Contexte** N/A **Root cause** Une mise en production a entraîné une interruption de connexion entre deux API. Une tâche est entrée en boucle et a saturé les différentes routes traitant les flux.  ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence de détection d’alerte. | Amélioration du monitoring pour une meilleure identification en cas d’incident. | | Blocage des traitements causés par une erreur. | Révision de l’architecture des files d’attentes pour s’assurer qu’une tâche en erreur ne puisse pas bloquer l’ensemble des traitements. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2228 **Payment services affected by the incident** E-commerce & in-store payments settlement. **Client impact** Partial settlement of transactions. **Incident Overview** * **4 September 7:30am –** start of queue saturation processing different flows. **Start of the incident.** * **4 September 8:50am –** detection of a delay in transfer processing. Dedicated crisis unit created and analysis started. * **4 September 8:53am –** identification of flow saturation caused by a task looping unsuccessfully. * **4 September 8:56am –** tests to reroute certain flows through secondary paths to avoid saturation. * **4 September 9:09am –** transfer of some flows not affected by the incident to other routes. Further analysis to attempt to restart transfers during the day. * **4 September 10:00am –** transfer processing restarted after several actions taken to ensure side effects were avoided. * **4 September 11:57am –** processing completed after the cut-off time. Some transfers will be carried out the following day. * **5 September –** transactions paid out. **End of the incident.** **Context** N/A **Root cause** A production deployment caused a connection interruption between two APIs. A task entered a loop and saturated the different routes processing the flows. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | No alert detection. | Improved monitoring for better identification in the event of an incident. | | Blocking of processing caused by an error. | Review of the queue architecture to ensure that a failed task cannot block all processing. |

FR Nous avons identifié des difficultés sur le processing de paiements. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on the payment processing. An investigation is in progress. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti. L'incidente è in fase di analisi.

TSR-2090 - Début / Start / Inizio : 29/07/2025 14h43 CEST. - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità: P2 FR Le service revient progressivement en nominal depuis 15h08. Nous continuons de monitorer le service. EN Nominal service has been observed since 3:08pm. We are continuing to monitor the service. IT Il servizio sta tornando progressivamente alla normalità dalle 15:08. Continuiamo a monitorare il servizio.

TSR-2090 - Début / Start / Inizio : 29/07/2025 14h43 CEST. - Fin / End /fine : 29/07/2025 15h08 CEST. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità: P2 FR Un correctif a été appliqué. Le service a été rétabli. EN A fix has been applied. The service has been restored. IT È stata applicata una correzione. Il servizio è stato ripristinato.

# _English version below_ # Post Mortem **Référence incident** TSR-2090 **Service concerné** Paiements e-commerce et magasin. **Impact client** Indisponibilité générale. **Synthèse de l’incident** * **23 juillet :** mise hors production du premier groupe de serveurs. * **24 juillet :** mise hors production du deuxième groupe de serveurs. * **29 juillet 14h43** : mise hors production du troisième groupe de serveurs. **Début de l’incident.** * **29 juillet 14h45** : remontées d’alertes. * **29 juillet 14h48 :** création d’une cellule d’incident majeur et début des investigations. * **29 juillet 14h51 :** communication Statuspage. * **29 juillet 14h51 :** redéploiement du service. * **29 juillet 15:05 :** reprise progressive du service. * **29 juillet 15h08** : **fin de l’incident.** ‌ **Contexte** La patch management consiste en une série de correctifs qui sont déployés chaque semaine alternativement sur chacune des trois parties des serveurs de production \(les mardi, mercredi et jeudi\). **Root cause** Le patch management a successivement mis hors production chacun des serveurs. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Défaut de détection de la mise hors production des serveurs. | Ajout de contrôles pour être alerté dès qu’un serveur est mis hors production. | | Mise hors production du dernier serveur. | Ajout de contrôles pour être alerté lorsqu’il ne reste plus qu’un serveur actif en production. Interdiction de la mise hors production automatique du dernier serveur. | | Mises hors production successives de tous les serveurs de production par le patch management. | Désactivation jusqu’à nouvel ordre du patch management. Investigations en cours. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2090 **Payment services affected by the incident** E-commerce and in-store payments. **Client impact** Widespread unavailability. **Incident Overview** * **July 23:** decommissioning of the first group of servers. * **July 24:** decommissioning of the second group of servers. * **July 29 - 2:43pm:** decommissioning of the third group of servers. **Start of the incident.** * **July 29 - 2:45pm:** alerts triggered. * **July 29 - 2:48pm:** major incident task force created and investigations started. * **July 29 - 2:51pm:** statuspage communication. * **July 29 - 2:51 pm:** service redeployment. * **July 29 - 3:05pm:** gradual service recovery. * **July 29 - 3:08pm: end of the incident.** ‌ **Context** Patch management consists of a series of updates that are deployed weekly in rotation across each of the three groups of production servers \(on Tuesdays, Wednesdays, and Thursdays\). **Root cause** Patch management successively decommissioned each of the servers. ‌ **Actions to be taken by Payplug** | **Symptômes** | **Actions** | | --- | --- | | Failure to detect server decommissioning. | Addition of controls to trigger alerts as soon as a server is decommissioned. | | Decommissioning of the last server. | Addition of controls to trigger alerts when only one active production server remains. Blocking of automatic decommissioning of the last server. | | Successive decommissioning of all production servers by patch management. | Patch management deactivated until further notice. Ongoing investigations. |

FR Nous avons identifié des difficultés sur le processing des paiements Oney qui entraînent une indisponibilité totale du service. L'incident est en cours d'analyse. EN We have identified issues with the processing of Oney payments, resulting in a complete unavailability of the service. An investigation is in progress. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti Oney, che comportano una completa indisponibilità del servizio. L'incidente è in fase di analisi.

FR L’incident affectant le processing des paiements Oney est résolu. L’origine de cet incident a été externe à notre plateforme. EN The incident affecting the processing of Oney payments has been resolved. The origin of this incident was external to our platform. IT L’incidente che ha interessato l’elaborazione dei pagamenti Oney è stato risolto. L’origine di questo incidente era esterna alla nostra piattaforma.

This incident has been resolved.

# Post Mortem **Service concerné** Oney. **Impact client** Indisponibilité totale du moyen de paiement Oney. **Synthèse de l’incident** * **14 juillet 00h01** : **début de l’incident** chez le partenaire**.** * **14 juillet 01h56** : déclaration d’un incident par le partenaire**.** * **15 juillet 10h23** : **fin de l’incident**. **Contexte** N/A **Root cause** Défaillance chez un partenaire.  **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Détection tardive de l’incident. | Revue de l’alerting dédié au moyen de paiement Oney et modification de paramètres pour en affiner le déclenchement. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Payment services affected by the incident** Oney. **Client impact** Total outage of the Oney payment method. **Incident Overview** * **July 14, 00:01 am – incident begins** at the service provider. * **July 14, 01:56 am –** incident reported by the service provider. * **July 15, 10:23 am – incident resolved.** **Context** N/A **Root cause** Service disruption at a partner. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Delayed detection of the incident. | Review of alerting related to the Oney payment method and adjustment of parameters to improve trigger accuracy. |

FR Nous avons identifié des difficultés sur le processing de paiements en Hosted Fields via Shopify. L'incident est en cours d'analyse. Nous vous conseillons de basculer sur du paiement redirigé en attendant la résolution. EN We have identified issues with payment processing using Hosted Fields via Shopify. The incident is currently under investigation. We recommend switching to redirected payment in the meantime. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti tramite Hosted Fields su Shopify. L'incidente è attualmente in fase di analisi. Consigliamo di passare temporaneamente ai pagamenti reindirizzati in attesa della risoluzione.

TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Les investigations sont toujours en cours. Nous reviendrons vers vous d'ici une heure. EN Investigations are still ongoing. We'll get back to you within an hour. IT Le indagini sono ancora in corso. Ti contatteremo entro un'ora.

TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : 04/07/2025 11h34 CEST. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Un correctif a été appliqué permettant de restaurer le service. Nous continuons de surveiller la reprise du service. EN A fix has been applied, allowing the service to be restored. We are continuing to monitor the service recovery. IT È stata applicata una correzione che ha permesso il ripristino del servizio. Continuiamo a monitorare il recupero del servizio.

TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : 04/07/2025 16h30 CEST. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Le service a été restauré à 11h30. La plateforme est revenue à l'état nominal à 16h30. L'incident est résolu. EN The service was restored at 11.30 AM. The platform returned to nominal status at 4.30 PM. The incident is resolved. IT Il servizio è stato ripristinato alle 11:30. La piattaforma è tornata in stato nominale alle 16:30. L'incidente è risolto.

_English version below_ _Versione italiana qui sotto_ # Post Mortem **Référence incident** TSR-1977 **Service concerné** Page de paiement intégrée \(Hosted Fields\) sur Shopify **Impact client** Paiements faits via une page de paiement intégrée \(Hosted Fields\) sur Shopify en erreur. **Synthèse de l’incident** * **2 juillet 18h10** : **début de l’incident**. * **3 juillet 9h37** : remontée d’alerte de perturbations sur la page de paiement intégrée \(Hosted Fields\) sur Shopify. * **3 juillet 9h42** : création d’une cellule incident majeur. * **3 juillet 09h53-10h30** : multiples actions pour tenter de restaurer le service. * **3 juillet 10h30** : mail d’escalade à Shopify. * **3 juillet 10h50 :** identification d’erreurs liées au certificat. * **3 juillet 11h11 :** envoi d’un second mail à Shopify avec plus de détails. * **3 juillet 11h15 :** test impliquant la désactivation du contrôle du certificat. Test concluant. * **3 juillet 11h28 :** désactivation du contrôle du certificat réalisée sur tous les serveurs. **Reprise du service.** * **3 juillet 11h30 :** envoi d’un troisième mail à Shopify. * **3 juillet 11h30-15h :** les investigations continuent pour rétablir la vérification du certificat. * **3 juillet 15h :** compréhension de la root cause. * **3 juillet 16h :** ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur un serveur. Test concluant. * **3 juillet 16h29 :** ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur tous les serveurs. **Fin de l’incident.** **Contexte** Une Certificate Authority a pour but de vérifier l'identité d'un site web et de délivrer un "certificat numérique" pour prouver que ce site est bien ce qu'il prétend être. En 2024, Shopify nous a informé du déploiement d’une nouvelle Certificate Authority qui viendrait remplacer l’ancienne qui expire le 26 octobre 2025. Nous avons déployé la nouvelle Certificate Authority en août 2024 puis désactivé l’ancienne en décembre 2024. **Root cause** Réutilisation de l’ancienne Certificate Authority par Shopify suite à un incident, alors que nous l’avions désactivée. **Actions à entreprendre par Payplug** ‌‌ | **Symptômes** | **Actions** | | --- | --- | | Quiproquo sur la révocation de l’ancienne Certificate Authority \(CA\) par Payplug suite au déploiement de la nouvelle. | Clarifications à mener sur la raison de la révocation de l’ancienne CA. Conservation systématique des anciennes CA jusqu’à la date d’expiration. | | Détection tardive de l’incident. | Réflexion à mener sur des alerting spécifiques à chaque parcours de paiement \(dont celui impacté par cet incident\), ne représentant chacun qu’une faible portion des flux de la plateforme. Améliorer la remontée des erreurs liées à des certificats pour avoir un alerting plus précis sur ce cas. | | Délai de compréhension de la root cause perfectible. | Obtenir un contact d’urgence chez Shopify pour faciliter les investigations. | ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1977 **Payment services affected by the incident** Integrated payment page \(Hosted Fields\) on Shopify **Client impact** Payments made via the integrated payment page \(Hosted Fields\) on Shopify failed. **Incident Overview** * **July 2, 6:10 PM: start of the incident.** * **July 3, 9:37 AM:** alert raised for disruptions on the integrated payment page \(Hosted Fields\) on Shopify. * **July 3, 9:42 AM:** major incident task force created. * **July 3, 9:53–10:30 AM:** multiple recovery actions attempted. * **July 3, 10:30 AM:** escalation email sent to Shopify. * **July 3, 10:50 AM:** errors identified as certificate-related. * **July 3, 11:11 AM:** second email sent to Shopify with more details. * **July 3, 11:15 AM:** test conducted by disabling certificate validation — Successful test. * **July 3, 11:28 AM:** certificate validation disabled on all servers — **Service restored.** * **July 3, 11:30 AM:** third email sent to Shopify. * **July 3, 11:30 AM–3:00 PM:** ongoing investigations to safely re-enable certificate validation. * **July 3, 3:00 PM:** root cause understood. * **July 3, 4:00 PM:** old Certificate Authority \(CA\) re-added and certificate validation reactivated on one server — Successful test. * **July 3, 4:29 PM:** old CA re-added and certificate validation reactivated on all servers — **End of the incident.** **Context** A Certificate Authority \(CA\) verifies the identity of a website and issues a digital certificate to prove its authenticity. In 2024, Shopify informed us about a new CA to replace the current one expiring on October 26, 2025. We deployed the new CA in August 2024 and disabled the old one in December 2024. **Root cause** Reuse of the old Certificate Authority by Shopify following an incident, although we had previously deactivated it. **Actions to be taken by Payplug** ‌ | **Symptoms** | **Actions** | | --- | --- | | Misunderstanding regarding the revocation of the old Certificate Authority \(CA\) by Payplug following the deployment of the new one. | Clarify the reasons for the revocation. Systematic retention of old CA until their expiration date. | | Delayed incident detection. | Consider implementing specific alerts per payment flow \(including the affected one\), even if each represents a small share of platform traffic. Improve alerting mechanisms to detect certificate-related issues more precisely. | | Time to understand the root cause could be improved. | Establish an emergency contact with Shopify to facilitate future investigations. | ==============VERSIONE ITALIANA============== # Post Mortem **Riferimento incidente** TSR-1977 **Servizio interessato** Pagina di pagamento integrata \(Hosted Fields\) su Shopify **Impatto per i clienti** I pagamenti effettuati tramite la pagina di pagamento integrata \(Hosted Fields\) su Shopify sono risultati in errore. **Sintesi dell’incidente** * **2 luglio, ore 18:10: inizio dell’incidente** * **3 luglio, ore 09:37:** allerta per anomalie sulla pagina di pagamento integrata \(Hosted Fields\) su Shopify. * **3 luglio, ore 09:42:** attivazione della task force incidente maggiore. * **3 luglio, 09:53–10:30:** varie azioni tentate per ripristinare il servizio. * **3 luglio, ore 10:30:** primo messaggio di escalation inviato a Shopify. * **3 luglio, ore 10:50:** identificazione di errori legati ai certificati. * **3 luglio, ore 11:11:** secondo messaggio a Shopify con ulteriori dettagli. * **3 luglio, ore 11:15:** test disattivando il controllo del certificato — Esito positivo. * **3 luglio, ore 11:28:** disattivazione del controllo del certificato su tutti i server — **Servizio ripristinato.** * **3 luglio, ore 11:30:** terzo messaggio a Shopify. * **3 luglio, 11:30–15:00:** proseguimento delle analisi per riattivare il controllo del certificato. * **3 luglio, ore 15:00:** identificazione della root cause. * **3 luglio, ore 16:00:** aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su un server — Test riuscito. * **3 luglio, ore 16:29:** aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su tutti i server — **Fine dell’incidente.** **Contesto** Una Certificate Authority \(CA\) ha lo scopo di verificare l’identità di un sito web e di rilasciare un certificato digitale che ne confermi l’autenticità. Nel 2024, Shopify ci ha informato del passaggio a una nuova CA, in sostituzione di quella esistente che scade il 26 ottobre 2025. Abbiamo implementato la nuova CA ad agosto 2024 e disattivato la vecchia a dicembre 2024. **Root cause** Riutilizzo della vecchia Certificate Authority da parte di Shopify a seguito di un incidente, nonostante fosse già stata disattivata da noi. **Azioni da intraprendere da parte di Payplug** | **Sintomi** | **Azioni** | | --- | --- | | Incomprensione sulla revoca della vecchia Certificate Authority \(CA\) da parte di Payplug dopo l’adozione della nuova. | Chiarire le motivazioni della revoca. Conservazione sistematica delle vecchie CA fino alla data di scadenza. | | Rilevamento tardivo dell’incidente. | Valutare l’attivazione di alert specifici per ciascun percorso di pagamento, anche se rappresentano una piccola parte del traffico. Migliorare l’alerting per rilevare più facilmente i problemi di certificato. | | Tempo migliorabile per identificare la root cause. | Ottenere un contatto di emergenza presso Shopify per facilitare le indagini future. |

TSR-1723 - Début / Start / Inizio : 03/05/2025 - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production - Oney - Responsabilité / Responsibility / Responsabilità : Externe / External /Esterna FR Nous avons été informés d'un incident ayant affecté plusieurs dossiers de financement Oney ouverts entre le samedi 3 mai et le lundi 5 mai matin. Les dossiers impactés sont restés en attente. Des actions sont en cours chez Oney pour rattraper ces dossiers, mais les transactions déjà refusées ne pourront plus être validées malgré un financement accepté. Des actions sont en cours pour annuler les dossiers de financement acceptés liés à des transactions refusées. EN We have been informed of an incident that affected several Oney financing applications opened between Saturday, May 3rd and the morning of Monday, May 5th. The impacted applications remained in a pending state. Oney is currently working to recover these applications, but transactions that have already been declined can no longer be validated, even if the financing was approved. Actions are also underway to cancel approved financing applications that are linked to declined transactions. IT Siamo stati informati di un incidente che ha interessato diverse pratiche di finanziamento Oney aperte tra sabato 3 maggio e la mattina di lunedì 5 maggio. Le pratiche interessate sono rimaste in stato di attesa. Oney sta attualmente lavorando per recuperare queste pratiche, ma le transazioni già rifiutate non potranno più essere validate, anche se il finanziamento è stato approvato. Sono inoltre in corso azioni per annullare le pratiche di finanziamento approvate collegate a transazioni rifiutate.

TSR-1723 - Début / Start / Inizio : 03/05/2025 - Fin / End /fine : 07/05/2025 - Catégorie / Category / Categoria: Production - Oney - Responsabilité / Responsibility / Responsabilità : Externe / External /Esterna FR Les dossiers liés à des transactions refusées ont été annulés, vos clients seront donc remboursés. EN Financing applications linked to declined transactions have been cancelled. Your customers will be refunded. IT Le pratiche collegate a transazioni rifiutate sono state annullate. I vostri clienti saranno rimborsati.

FR Certains paiements en magasin réalisés sur des terminaux PAX (protocole Nexo) ont été débités deux fois à vos clients porteurs de carte. Il s’agit pour la plupart de paiements réalisés le 7 avril. L’anomalie a été rapidement identifiée et un correctif est en cours. - Les marchands concernés seront contactés directement. - Tous les doublons seront automatiquement annulés. - Les remboursements seront effectués sans action requise de votre part ni des clients. - La régularisation sera visible sur les comptes des porteurs sous peu. EN Some in-store payments made via PAX terminals (NEXO protocol) were charged twice to your cardholder clients. Most of these duplicate transactions occurred on April 7th. The issue was quickly identified, and a fix is currently being implemented. - Affected merchants will be contacted directly. - All duplicate charges will be automatically canceled. - Refunds will be processed without any action required from you or your clients. - The adjustments will soon be visible on the cardholders’ accounts. IT Alcuni pagamenti effettuati in negozio su terminali PAX (protocollo Nexo) potrebbero essere stati addebitati due volte ai vostri clienti. La maggior parte dei pagamenti sono stati effettuati il 7 aprile. L'anomalia è stata identificata e stiamo procedendo con la correzione. - Gli esercenti interessati saranno contattati direttamente. - Tutti i doppi addebiti verranno automaticamente cancellati. - I rimborsi saranno effettuati senza alcuna azione da parte vostra o dei clienti. - La regolarizzazione sarà visibile sui conti corrente dei clienti a breve.

FR Les paiements en magasins débités à tort vont être annulés au plus tard le 15 avril 2025. Vos clients verront donc le remboursement de ces paiements sur leur compte au plus tard le 16 avril 2025. EN In-store payments that were wrongly debited will be canceled by April 15th, 2025, at the latest. Your customers will therefore see the refunds for these payments on their account no later than April 16th, 2025. IT I pagamenti effettuati nei negozi addebitati erroneamente saranno annullati entro e non oltre il 15 aprile 2025. I vostri clienti vedranno quindi il rimborso di tali pagamenti sul loro conto entro e non oltre il 16 aprile 2025.

TSR-1610 - Début / Start / Inizio : 07/04/2025 - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production - Processing. - Responsabilité / Responsibility / Responsabilità : Payplug. - Priorité / Priority / Priorità: P2. FR Les paiements en magasins débités à tort ont été annulés. Vos clients verront donc le remboursement de ces paiements sur leur compte à partir du 15 avril 2025, en fonction des délais interbancaires. EN The in-store payments that were wrongly debited have been cancelled. Your customers will therefore see the refunds of these payments on their bank accounts starting from April 15, 2025, depending on interbank processing times. IT I pagamenti effettuati nei negozi addebitati per errore sono stati annullati. I vostri clienti vedranno quindi il rimborso di tali pagamenti sul loro conto bancario a partire dal 15 aprile 2025, in base ai tempi di elaborazione interbancaria.

This incident has been resolved.

# _English version below / Versione Italiana in calce_ # Post Mortem **Référence incident** TSR-1610 **Service concerné** Nexo. **Impact client** Multiples débits de paiements effectués sur des terminaux PAX \(protocole Nexo\). **Synthèse de l’incident** * **07 avril :** mise à jour de la gestion des statuts des transactions Nexo.  * **08 avril - 09h12 :** une première série de transactions est débitée mais leur statut n’est pas mis à jour en “débité”. **Début de l’incident.** * **09 avril :** second débit de la même série de transactions, occasionnant un double débit. Certaines de ces transactions conservent un statut incorrect. * **10 avril :** un contrôle de routine identifie 5000 débits en trop. * **10 avril - 09h30 :** création d’une cellule de crise pour incident majeur. Lancement des investigations. * **10 avril - 11h43 :** mise à jour manuelle des statuts pour éviter un nouveau débit accidentel sur les transactions. * **10 avril - 15h25 :** livraison d’un correctif pour garantir la bonne mise à jour automatique des statuts des transactions. Envoi d’une liste de transactions à rembourser à notre prestataire externe. **Reprise du service nominal.** * **11 avril - 08h43 :** relance envoyée à notre prestataire externe.  * **14 avril - 17h :** annulation des débits indus pour les clients VISA & CB. * **15  avril - 17h :** annulation des débits indus pour les clients  MASTERCARD. **Fin de l’incident.** ‌ **Contexte** L’annulation d’un double-débit menant au remboursement du débit indu est une opération manuelle et sensible. Notre prestataire a pris toutes les précautions nécessaires pour ne pas générer de dommages collatéraux, ce qui explique le délai observé. **Root cause** L’incident a été causé par l’ajout d’un processus de mise à jour des statuts de transactions le 7 avril. Ce dernier pouvait occasionnellement entrer en conflit avec un processus déjà existant, empêchant la mise à jour des transactions concernées. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Détection tardive des double-débits. | Mise en place d’un monitoring manuel quotidien à court terme. Automatisation du monitoring à moyen terme. | | Absence de remontée d'erreurs lors du conflit de processus. | Mise en place d’un log \+ alerte lors d’un conflit de mise à jour de statut d’une transaction. Amélioration du retry pour retenter automatiquement la mise à jour du statut. | | Bug non détecté lors de la phase de test. | Ajout systématique de tests sur un plus gros volume de transactions. Investigations sur de nouveaux tests de charge. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1610 **Payment services affected by the incident** Nexo. **Client impact** Multiple payments debited from PAX terminals \(Nexo protocol\). **Incident Overview** * **April 7:** update of the Nexo transaction status management. * **April 8 – 9:12 AM:** a first batch of transactions is debited, but their status is not updated to “debited.” **Incident begins.** * **April 9:** a second debit of the same batch of transactions occurs, causing duplicate charges. Some of these transactions retain an incorrect status. * **April 10:** a routine check reveals 5,000 excess debits. * **April 10 – 9:30 AM:** major incident task force created. Analysis begins. * **April 10 – 11:43 AM:** manual update of statuses to prevent further accidental debits. * **April 10 – 3:25 PM:** delivery of a fix to ensure correct automatic update of transaction statuses. A list of transactions to be refunded is sent to our external provider. **Return to normal service.** * **April 11 – 8:43 AM:** follow-up sent to our external provider. * **April 14 – 17h:** reversal of undue charges for VISA & CB customers. * **April 15 – 17h:** reversal of undue charges for customers. **End of the incident.** ‌ **Context** Reversing a duplicate debit and refunding the undue charge is a manual and sensitive operation. Our provider took all necessary precautions to avoid collateral damage, which explains the observed delay. **Root cause** The incident was caused by the addition of a transaction status update process on April 7. This process could occasionally conflict with an existing one, preventing the status update of affected transactions. ‌ **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Late detection of duplicate debits. | Implementation of short-term daily manual monitoring. Medium-term automation of monitoring. | | No error feedback during process conflict. | Implementation of logging \+ alert in case of a status update conflict. Improvement of retry logic to automatically attempt status update again. | | Undetected bug during testing phase. | Systematic addition of tests with larger volumes of transactions. Investigation of new load testing methods. | ‌ ==============VERSIONE ITALIANA============== # Post Mortem **Riferimento incidente** TSR-1610 **Servizio interessato** Nexo. **Impatto sui clienti** Addebiti multipli effettuati su terminali PAX \(protocollo Nexo\). **Sintesi dell'incidente** * **7 aprile**: aggiornamento della gestione degli stati delle transazioni Nexo. * **8 aprile – 09:12**: una prima serie di transazioni viene addebitata ma lo stato del pagamento non viene aggiornato a "addebitato". **Inizio dell'incidente.** * **9 aprile**: secondo addebito della stessa serie di transazioni, causando un doppio addebito. Alcune di queste transazioni mantengono uno stato errato. * **10 aprile**: un controllo di routine individua 5.000 addebiti in eccesso. * **10 aprile – 09:30**: creazione di una task force per incidente maggiore. Inizio delle indagini. * **10 aprile – 11:43**: aggiornamento manuale degli stati per evitare ulteriori addebiti accidentali. * **10 aprile – 15:25**: rilascio di una correzione per garantire il corretto aggiornamento automatico degli stati delle transazioni. Invio di una lista di transazioni da rimborsare al nostro fornitore esterno. **Ripristino del servizio.** * **11 aprile – 08:43**: sollecito inviato al fornitore esterno. * **14 aprile – 17:00**: annullamento degli addebiti illegittimi  per i clienti VISA e CB. * **15 aprile – 17:00**: annullamento degli addebiti illegittimi  per i clienti MASTERCARD. **Fine dell’incidente.** ‌ **Contesto** L’annullamento di un doppio addebito e il conseguente rimborso è un’operazione manuale e delicata. Il nostro fornitore ha preso tutte le precauzioni necessarie per evitare danni collaterali, il che spiega il ritardo osservato. **Root cause** L’incidente è stato causato dall’aggiunta, il 7 aprile, di un processo di aggiornamento degli stati delle transazioni. Questo nuovo processo poteva occasionalmente entrare in conflitto con un processo esistente, impedendo l’aggiornamento delle transazioni interessate. ‌ **Azioni da intraprendere da Payplug** | **Sintomi** | **Azioni** | | --- | --- | | Rilevamento tardivo dei doppi addebiti. | Implementazione a breve termine di un monitoraggio manuale quotidiano. Automazione del monitoraggio a medio termine. | | Mancanza di segnalazioni di errore in caso di conflitto tra processi. | Implementazione di log \+ allarme in caso di conflitto nell'aggiornamento dello stato di una transazione. Miglioramento della logica di retry per tentare nuovamente l’aggiornamento dello stato. | | Bug non rilevato durante i test. | Aggiunta sistematica di test con volumi maggiori di transazioni. Analisi di nuovi test di carico. |