Pricing
Status historyRSS updatesStatus API

Powered by Uptimus

    Historique des pannes de Viedoc

    50 Viedoc incidents · mars 2024 — official updates, affected components, duration and resolution details.

    Retour au statut actuel

    Informations concernant la vulnérabilité PHP (php2shell)

    Début 21 octobre 2026 à 16:25 UTC · En cours

    Pending
    1. 21 octobre 2026 à 16:25 UTCmonitoring

      État : Informationnel, aucun impact Nous sommes conscients de la vulnérabilité de PHP récemment divulguée, connue sous le nom de CVE-2026-109618 et CVE-2026-109619. Nous avons évalué la vulnérabilité et pouvons confirmer qu'elle n'affecte pas la suite Viedoc. Aucune action n'est requise de nos clients, et il n'y a aucun impact sur la disponibilité, la sécurité ou l'intégrité de vos données. Nous continuons de surveiller la situation dans le cadre de nos processus de sécurité standard. Si quelque chose change, nous mettrons à jour cet avis.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    Échec de la production du courrier électronique sporadique

    Début 8 septembre 2026 à 14:07 UTC · 2d 18h

    IssuesIncident mineur
    Composants affectés
    Background processes (import/export/revisions/alerts/archive/disposal)
    1. 8 septembre 2026 à 14:07 UTCinvestigating

      Les alertes par courrier électronique déclenchées par les actions d'EDC à Viedoc ont échoué de façon intermittente dans l'instance de production de l'UE au cours des périodes suivantes: Lundi 31 août, 11h02–17h25 CEST Jeudi 3 septembre, 13:31 CEST – Vendredi 4 septembre, 22:07 CEST La plupart des courriels sont envoyés comme prévu, mais un sous-ensemble est retardé ou, dans certains cas, n'est pas livré du tout. Aucun autre cas n'est touché. Nous enquêtons activement et publierons des mises à jour à mesure que plus d'informations seront disponibles.

    2. 10 septembre 2026 à 13:51 UTCmonitoring

      Nous n'avons observé aucune nouvelle défaillance depuis notre précédent rapport. Nous suivons actuellement la situation et publierons une nouvelle mise à jour une fois que nous pourrons confirmer que la question est entièrement réglée.

    3. 11 septembre 2026 à 08:25 UTCresolved

      Cet incident a été résolu.

    4. 17 septembre 2026 à 08:12 UTCpostmortem

      **Défauts du courrier électronique sporadique concernant l'instance de production de l'UE** (en milliers de dollars) **Description** Au cours des deux fenêtres ci-dessous, les alertes de courriel déclenchées par des actions à Viedoc ont été envoyées par intermittence. La plupart ont été livrés comme prévu. Un sous-ensemble a été retardé, et certains n'ont pas été livrés du tout. * Lundi 31 août, 11h02-17h25 CEST * Jeudi 3 septembre, 13 h 31 CEST – vendredi 4 septembre, 22 h 07 CEST Les alertes e-mail dans Viedoc ne sont pas envoyées par l'application pour le moment un utilisateur enregistre des données. Ils sont produits par traitement de fond qui se déroule immédiatement après et décide, en fonction de la configuration de votre étude, quelles alertes doivent être envoyées. Pendant ces deux fenêtres que le traitement de fond n'a pas toujours terminé, les alertes qu'il aurait produites ont été retardées ou jamais générées. (en milliers de dollars) Les données saisies et enregistrées par les utilisateurs pendant ces périodes ont été stockées comme prévu. L'interruption a affecté le travail de certains serveurs de traitement plutôt que la plate-forme dans son ensemble, ce qui explique pourquoi les alertes étaient intermittentes plutôt que de s'arrêter complètement. (en milliers de dollars) Parce que Le traitement d'arrière-plan de Viedoc s'effectue sur plusieurs serveurs travaillant en parallèle. Chaque serveur a besoin d'une connexion fonctionnelle à un service interne partagé que Viedoc utilise pour coordonner ce travail en toute sécurité - par exemple, pour s'assurer que deux serveurs ne traitent jamais le même sujet au même moment. Pendant ces fenêtres, les serveurs individuels ont perdu cette connexion et ne l'ont pas rétablie. Un serveur affecté a continué à accepter le travail mais n'a pas pu le terminer. D'autres serveurs fonctionnant en même temps n'ont pas été touchés, c'est pourquoi l'impact a été intermittent et pourquoi la plate-forme a continué à paraître saine dans l'ensemble. (en milliers de dollars) **Mesures correctives** * Les serveurs touchés ont été identifiés et remplacés. Le traitement normal, y compris la génération d'alerte, a repris immédiatement après. * Nous avons confirmé que le traitement ultérieur a été effectué correctement et qu'il n'y a pas eu d'échecs supplémentaires. (en milliers de dollars) **Action préventive** Surveillance accrue Nous avons augmenté la surveillance et ajouté l'alerte qui détecte cette défaillance spécifique sur un serveur individuel beaucoup plus rapidement, empêchant cela d'échouer silencieusement. (en milliers de dollars) Cause sous-jacente - enquête en cours L'enquête sur les raisons de l'échec de ces liaisons reste ouverte, et nous les traitons séparément des mesures d'atténuation ci-dessus.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    Perturbation temporaire en Chine

    Début 4 septembre 2026 à 15:00 UTC · 0m

    IssuesIncident mineur
    1. 4 septembre 2026 à 16:15 UTCresolved

      Nous avons eu une perturbation temporaire qui a conduit les clients à ne pas pouvoir atteindre les portails .cn entre 23:00 et 00:00. Le problème était dans notre infrastructure et nous nous excusons pour l'incompréhension. Les systèmes sont de retour à la normale et il n'y a aucun problème de confidentialité ou d'intégrité. Ce problème n'affecte que l'accès à nos systèmes.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    France Arrêt central (Viedoc Europe)

    Début 17 août 2026 à 09:54 UTC · 1h 27m

    OutageIncident majeur
    Composants affectés
    Subject portal (ViedocMe)Document management (ViedocTMF)Application programming interface (API)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)Background processes (import/export/revisions/alerts/archive/disposal)
    1. 17 août 2026 à 09:54 UTCmonitoring

      Nous faisons l'expérience d'insu dans un composant de plate-forme sous-jacent d'Azure dans la région du Centre de France, ce qui crée une certaine perte de trafic que vous pouvez vivre comme le service n'étant pas disponible pour de courtes périodes de temps. Nous enquêtons et vous tiendrons au courant.

    2. 17 août 2026 à 10:09 UTCmonitoring

      Nous restons à l'affût de tout autre problème.

    3. 17 août 2026 à 11:25 UTCresolved

      L'incident a maintenant été résolu par Microsoft et nous pouvons confirmer que la suite Viedoc est à nouveau pleinement opérationnelle. Nous nous excusons pour le désagrément.

    4. 17 août 2026 à 12:27 UTCpostmortem

      Résumé Nous avons connu des problèmes dans un composant de plateforme sous-jacent d'Azure \(Azure App services\) dans la région de France Centrale, qui a créé une certaine perte de trafic que les clients ont connu comme le service n'étant pas disponible. Notre monitoring système a pris les problèmes immédiatement et a alerté notre équipe de plate-forme qui a répondu en 1 minute. Nous avons pu confirmer en 15 minutes que le problème était avec le fournisseur de plateforme. Cas touchés Tous les produits en Europe Durée 2026-08-17 09:32 UTC à 2026-08-17 11:20 UTC. La cause profonde Une composante infrastructure de Microsoft Azure Cloud responsable du traitement des demandes entrantes au sein de la plateforme Azure App Service dans la région de France Centrale a dépassé les seuils opérationnels, réduisant ainsi la disponibilité de ressources de service supportant les charges de travail des clients. En conséquence, Viedoc a rencontré des problèmes de disponibilité intermittents et des demandes rejetées. Impact Ceci a affecté la disponibilité de Viedoc sans affecter la confiance, l'intégrité ou la vie privée des données. Actions Suivi avec le fournisseur de plateforme sur la capacité.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    Problèmes en Chine

    Début 29 juillet 2026 à 12:07 UTC · 4h 59m

    OutageIncident majeur
    Composants affectés
    Document management (ViedocTMF)Application programming interface (API)Background processes (import/export/revisions/alerts/archive/disposal)Subject portal (ViedocMe)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)
    1. 29 juillet 2026 à 13:35 UTCinvestigating

      Nous enquêtons actuellement sur cette question, mise à jour prochaine.

    2. 29 juillet 2026 à 14:11 UTCinvestigating

      La question est en corrélation avec le déclassement d'un centre de données en Chine et nous continuons à enquêter.

    3. 29 juillet 2026 à 17:06 UTCresolved

      L'incident a été identifié comme un problème dans Azure Cloud China et nous avons maintenant la confirmation que le problème a été atténué. Une fois que nous aurons une analyse des causes profondes, nous mettrons à jour un rapport d'incident. Nous nous excusons pour tout désagrément.

    4. 31 juillet 2026 à 13:23 UTCpostmortem

      Résumé Notre région chinoise a souffert d'une panne de configuration dans notre fournisseur de plateforme liée à la messagerie interne entre nos composants système, rendant ainsi notre suite de produits inutilisables pendant 4 heures et 40 minutes. L'impact client devrait être faible en raison de cette nuit en Chine avec normalement un très faible volume de trafic. Notre monitoring système a pris les problèmes immédiatement et a alerté notre équipe de plate-forme qui a répondu en 1 minute et nous avons pu confirmer en 1 heure que le problème était avec le fournisseur de plate-forme. Un ticket d'assistance de type A a été enregistré avec notre fournisseur de plateforme qui a pu confirmer qu'il avait effectivement un problème 2 heures et 32 minutes plus tard, et il a été résolu 38 minutes après cela. Cas touchés Tous les produits en Chine instance Durée 2026-07-29 12:07 UTC à 2026-07-29 16:47 UTC. La cause profonde Une erreur de configuration par notre fournisseur de plateforme en Chine, 21ViaNet/Microsoft Azure Cloud China. Impact Disponibilité seulement. Intégrité des données et confidentialité des données sans incidence. Actions Suivi avec le fournisseur de plateforme pour améliorer leurs procédures opérationnelles, la surveillance et l'intervention en cas d'incident.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    Viedoc Me Mémoires enregistrées en UTC au lieu d'un fuseau horaire local

    Début 9 juillet 2026 à 21:40 UTC · 6d 12h

    Pending
    Composants affectés
    Subject portal (ViedocMe)Subject portal (ViedocMe)Subject portal (ViedocMe)Subject portal (ViedocMe)
    1. 9 juillet 2026 à 21:40 UTCidentified

      Depuis la sortie de 4.95, Viedoc Mes soumissions ont été enregistrées dans la base de données en utilisant l'heure UTC plutôt que le fuseau horaire local du site. Si la date UTC et la date locale du site diffèrent au moment de la présentation, la date de l'événement à la clinique Viedoc reflétera incorrectement la date UTC au lieu de la date locale. Selon les fenêtres d'entrée de données définies dans la conception de l'étude, cela peut également entraîner des requêtes hors fenêtre. La piste de vérification de l'interface utilisateur de la clinique Viedoc, accessible via « Afficher l'historique », affiche la date et l'heure correctes selon le fuseau horaire local. Cette question touche à la fois les versions actuelles et anciennes de l'application Viedoc Me. Le problème a été identifié et une solution est en cours de préparation. La correction permettra de s'assurer que les nouvelles soumissions sont stockées en utilisant le fuseau horaire local du site, mais elle ne corrigera pas les horodatages ou les requêtes hors fenêtre qui se sont déjà produites. Ces questions feront l'objet d'une prochaine mise à jour.

    2. 14 juillet 2026 à 14:57 UTCidentified

      Nous travaillons activement à résoudre ce problème le plus rapidement possible. Un hotfix est actuellement mis au point et testé, et nous estimons qu'il sera distribué à la production dans la première moitié de la semaine prochaine.

    3. 16 juillet 2026 à 06:53 UTCidentified

      Nous allons commencer à libérer le hotfix dans les environnements de production pendant la journée d'aujourd'hui. Une mise à jour sera affichée une fois la version terminée sur toutes les instances.

    4. 16 juillet 2026 à 09:42 UTCresolved

      L'incident a été résolu avec la libération de hotfix 4.95.2 dans toutes les instances de formation et de production. Cette version empêche le problème de se répéter. Cependant, les dates d'événement déjà enregistrées en UTC resteront inchangées pour le moment, et toutes les requêtes hors fenêtre déjà déclenchées par ce problème resteront également jusqu'à ce qu'elles soient corrigées. Les présentations actuellement stockées en UTC seront corrigées à une date ultérieure. Le calendrier de cette correction n'a pas encore été confirmé.

    Traduit automatiquement depuis la mise à jour officielle de l'incident.

    Batch upgrade after form revision clears data in repeating item groups on EU and US instances

    Début 10 juin 2026 à 18:32 UTC · 6d 16h

    Pending
    Composants affectés
    Main portal (clinic/admin/designer)Main portal (clinic/admin/designer)
    1. 10 juin 2026 à 18:32 UTCinvestigating

      After the Viedoc 4.95 release, when a revision is applied to a form containing a repeating item group, and a user upgrades the form from the landing page, data previously entered in the repeating item group is cleared. The issue is occurring on the EU and US training and production instances. Investigation is ongoing. Until further information is known, we advise all customers to refrain from applying revisions requiring form upgrades on forms containing repeating item groups.

    2. 10 juin 2026 à 23:31 UTCidentified

      The issue has been identified and a fix is being implemented.

    3. 16 juin 2026 à 14:45 UTCidentified

      Hotfix 4.95.1 has been released on the US training and production instances. The incident is resolved on those instances. The hotfix will be deployed to EU training and production instances tomorrow.

    4. 17 juin 2026 à 10:40 UTCresolved

      Hotfix 4.95.1 has been released on the EU training and production instances. The incident is now resolved on all instances.

    Temporary operational disturbance observed on the Chinese instance

    Début 3 juin 2026 à 12:12 UTC · 1h 11m

    IssuesIncident mineur
    Composants affectés
    Document management (ViedocTMF)Application programming interface (API)Background processes (import/export/revisions/alerts/archive/disposal)Subject portal (ViedocMe)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)
    1. 3 juin 2026 à 12:12 UTCmonitoring

      Temporary operational disturbance observed in the Viedoc suite on the Chinese instance (clinic.viedoc.cn).

    2. 3 juin 2026 à 13:23 UTCresolved

      This incident has been resolved.

    Operational disturbance observed on the Chinese instance

    Début 28 mai 2026 à 05:30 UTC · 1h 10m

    OutageIncident majeur
    Composants affectés
    Document management (ViedocTMF)Application programming interface (API)Background processes (import/export/revisions/alerts/archive/disposal)Subject portal (ViedocMe)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)
    1. 28 mai 2026 à 07:35 UTCinvestigating

      Operational disturbance observed in Viedoc suite on the Chinese instance (clinic.viedoc.cn). Investigations are ongoing since 05:20 CMT

    2. 28 mai 2026 à 07:38 UTCresolved

      The incident has been resolved since 06:40 CMT

    Operational disturbance observed on the Chinese instance

    Début 18 mai 2026 à 09:55 UTC · 37m

    Pending
    Composants affectés
    Document management (ViedocTMF)Application programming interface (API)Background processes (import/export/revisions/alerts/archive/disposal)Subject portal (ViedocMe)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)
    1. 18 mai 2026 à 10:24 UTCinvestigating

      Operational disturbance observed in Training on the Chinese instance (clinic.viedoc.cn). Investigations are ongoing.

    2. 18 mai 2026 à 10:26 UTCinvestigating

      We are continuing to investigate this issue.

    3. 18 mai 2026 à 10:32 UTCresolved

      This incident has been resolved.

    Issues with randomization configuration approval and legacy medical coding tool on EU and US instances

    Début 6 mai 2026 à 09:48 UTC · 5d 0h

    IssuesIncident mineur
    Composants affectés
    Main portal (clinic/admin/designer)Main portal (clinic/admin/designer)
    1. 6 mai 2026 à 09:48 UTCidentified

      After the Viedoc 4.94 release, the following issues affect the EU and US training and production instances: - Users cannot approve randomization configurations in Viedoc Admin when kit allocation is not used. Randomization and kit allocation in Viedoc Clinic are not affected. - WHO Drug dictionary terms are not loading as expected in the legacy medical coding tool. The new medical coding tool is not affected. We are working on a fix for these issues.

    2. 7 mai 2026 à 06:34 UTCidentified

      After the Viedoc 4.94 release, the following issues affect the EU and US training and production instances: - Users cannot approve randomization configurations in Viedoc Admin when kit allocation is not used. Randomization and kit allocation in Viedoc Clinic are not affected. - WHO Drug dictionary terms are not loading as expected in the legacy medical coding tool. The new medical coding tool is not affected. - Intermittent failures in Designer, where users are unexpectedly logged out, are affecting certain users. We are working on a fix for these issues, and the Designer issue is currently under investigation.

    3. 8 mai 2026 à 08:22 UTCidentified

      A hotfix is currently being prepared and will be deployed to both our EU and US instances. Based on preliminary timelines, we expect this release to go out on Monday, May 11.

    4. 11 mai 2026 à 09:54 UTCresolved

      This incident was resolved this morning with the release of hotfix version 4.94.1 on both the EU and US instances.

    Operational disturbance observed on the European instance

    Début 27 avril 2026 à 11:00 UTC · 8h 0m

    Pending
    Composants affectés
    Subject portal (ViedocMe)Document management (ViedocTMF)Application programming interface (API)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)Background processes (import/export/revisions/alerts/archive/disposal)
    1. 27 avril 2026 à 13:04 UTCinvestigating

      Operational disturbance observed in Viedoc 4 on the European instance (v4.viedoc.net). Investigations are ongoing.

    2. 27 avril 2026 à 17:40 UTCinvestigating

      Microsoft Azure experienced a power event at their France Central datacenter, caused by a loss of utility power from an external provider. Power has since been restored via backup generators and recovery is underway. As of now, there are no active disruptions to Viedoc services, and we continue to monitor the situation closely.

    3. 27 avril 2026 à 17:42 UTCmonitoring

      Microsoft Azure experienced a power event at their France Central datacenter, caused by a loss of utility power from an external provider. Power has since been restored via backup generators and recovery is underway. As of now, there are no active disruptions to Viedoc services, and we continue to monitor the situation closely.

    4. 27 avril 2026 à 19:00 UTCresolved

      This incident has been resolved.

    Sporadic failures with text message delivery in some European countries

    Début 9 décembre 2025 à 09:37 UTC · 2h 43m

    Pending
    Composants affectés
    Subject portal (ViedocMe)Main portal (clinic/admin/designer)
    1. 9 décembre 2025 à 09:37 UTCinvestigating

      We have received reports of intermittent delivery failures affecting text messages sent to numbers with country codes +31 (Netherlands), +32 (Belgium), +33 (France), and +44 (United Kingdom). An investigation is currently underway together with the subproccessor. The default SMS sender is changed from a phone number to "Viedoc" to reduce the risk of texts being treated as spam.

    2. 9 décembre 2025 à 12:20 UTCresolved

      Since 10.30 CET today text messages are delivered as expected to numbers with country codes previously listed.

    Issues Generating the User Administration Log

    Début 5 décembre 2025 à 12:25 UTC · 11d 2h

    Pending
    Composants affectés
    Main portal (clinic/admin/designer)Main portal (clinic/admin/designer)Main portal (clinic/admin/designer)Main portal (clinic/admin/designer)
    1. 5 décembre 2025 à 12:25 UTCidentified

      The User Administration Log (Excel) and Log of Users and Roles (PDF) cannot currently be generated for studies containing more than 100 users. This issue was introduced in the 4.90 release and affects all instances where version 4.90 has been deployed. The root cause has been identified, and a corrective fix is currently in preparation.

    2. 9 décembre 2025 à 08:30 UTCidentified

      A fix has been developed and is currently undergoing testing. The fix is planned to be deployed as a hotfix.

    3. 16 décembre 2025 à 15:18 UTCresolved

      This issue has been resolved with the release of Viedoc 4.90.1, which was deployed to all production instances on 2025-12-16. The User Administration Log (Excel) and Log of Users and Roles (PDF) can now be generated as expected, including for studies containing more than 100 users.

    Delay in email delivery on US and EU instances

    Début 1 décembre 2025 à 13:10 UTC · 19h 11m

    IssuesIncident mineur
    Composants affectés
    Background processes (import/export/revisions/alerts/archive/disposal)Background processes (import/export/revisions/alerts/archive/disposal)
    1. 1 décembre 2025 à 13:10 UTCidentified

      Since around 12.30 CET, 1st of December, Viedoc is not sending any emails from the EU and US training and production instances due to a service disruption. The issue has been identified and we are working with our subprocessor to resolve the issue. All emails triggered during the affected period have been queued and will be delivered. The incident is caused by a malfunction at one of our subprocessors.

    2. 1 décembre 2025 à 13:46 UTCmonitoring

      The email queue is currently being processed, and messages are being delivered, although with a temporary delay.

    3. 2 décembre 2025 à 08:21 UTCresolved

      The queue had been fully processed at around 9.20 PM CET on 2025-12-01. Since that time emails have been delivered without delay.

    Delay in email delivery on EU instances

    Début 25 novembre 2025 à 13:31 UTC · 19h 36m

    IssuesIncident mineur
    Composants affectés
    Background processes (import/export/revisions/alerts/archive/disposal)
    1. 25 novembre 2025 à 13:31 UTCmonitoring

      Between 13:22 CET and 14:12 CET on 25 November 2025, Viedoc did not send any emails from the EU training and production instance due to a service disruption. The issue was identified and fully resolved at 14:12 CET, after which email processing resumed as normal. All emails triggered during the affected period have been queued and will be delivered. The incident was caused by a malfunction at one of our subprocessors.

    2. 25 novembre 2025 à 14:16 UTCmonitoring

      The email queue is currently being processed, and messages are being delivered, although with a temporary delay.

    3. 26 novembre 2025 à 09:08 UTCresolved

      The queue had been fully processed at around 5.30 PM CET on 2025-11-25.

    Operational disturbance observed on the Chinese instance

    Début 25 novembre 2025 à 01:00 UTC · 0m

    OutageIncident majeur
    1. 25 novembre 2025 à 03:19 UTCresolved

      Operational disturbance observed on the Chinese instance (clinic.viedoc.cn). Resolved

    Cancellation of the 4.89 Release for CN Instances

    Début 11 novembre 2025 à 11:55 UTC · 0m

    Pending
    Composants affectés
    Document management (ViedocTMF)Application programming interface (API)Background processes (import/export/revisions/alerts/archive/disposal)Subject portal (ViedocMe)Main portal (clinic/admin/designer)Reporting tool (ViedocReports)
    1. 11 novembre 2025 à 11:55 UTCresolved

      The planned release of version 4.89 to the CN training and production instances has been cancelled due to unforeseen technical issues specific to the Chinese server environment. As the 4.90 release is already scheduled for December, we will proceed directly from version 4.88 to 4.90 for the CN training and production instances. The impact to end users is minimal, as version 4.89 contains only non-critical bug fixes. No other instances or regions are affected by this change. We appreciate your understanding and apologize for any inconvenience this may cause.

    Login issues on EU production instance

    Début 2 novembre 2025 à 22:30 UTC · 0m

    OutageIncident majeur
    1. 3 novembre 2025 à 13:27 UTCresolved

      From approximately 23.44 UTC to 23.54 UTC, users faced issues logging in to the European production instance. Investigations to find the root cause are ongoing. No other instances were affected.

    2. 10 novembre 2025 à 10:45 UTCpostmortem

      Description From approximately 23.44 UTC to 23.54 UTC on 2025-11-02, users were unable to log in to the European production instance. It is possible that users faced sporadic issues logging in also between approximately 23.00 UTC and 23.44 UTC. No other instances were affected. ‌ Cause The cause of the issue was an unexpected error in the identity provider \(idp\), leading to an accumulating memory consumption during the evening \(UTC\) of 2025-11-02. From approximately 23.00 UTC users would face sporadic failures when trying to log in. From approximately 23.44 UTC users could not log in. At 23.54 UTC on 2025-11-02 the idp was restarted, and users could log in as expected again. ‌ Corrective Action Alerts were triggered when the idp did not respond and the idp was restarted again at 2354 UTC on 2025-11-02. After the restart users could log in as expected again. ‌ Preventive Action Preliminary investigation identified a few improvements that could be made to make the idp more resilient. Implementation of these improvements have been initiated while the investigation of the issue continues.

    Sporadic email failures on EU production server

    Début 2 septembre 2025 à 13:56 UTC · 1d 0h

    IssuesIncident mineur
    Composants affectés
    Main portal (clinic/admin/designer)
    1. 2 septembre 2025 à 13:56 UTCinvestigating

      Emails triggered from EDC actions in Viedoc has been failing sporadically on the EU production instance since approximately 9AM CEST 2025-09-02. No other instances are affected. Investigations are ongoing.

    2. 3 septembre 2025 à 08:49 UTCidentified

      The issue has been identified and a fix is being implemented.

    3. 3 septembre 2025 à 11:25 UTCmonitoring

      A fix has been implemented and emails are now being sent as expected. We will continue to monitor the situation.

    4. 3 septembre 2025 à 14:27 UTCresolved

      Since approximately noon CEST, emails triggered from the EDC has been delivered as expected.

    5. 9 septembre 2025 à 20:22 UTCpostmortem

      **Description** Between 9AM CEST on 2025-09-02 and noon CEST 2025-09-03 there were sporadic failures in email alerts expected to be triggered from Viedoc on the EU production instance. No other instances were affected. Customers were initially informed through the status page at 15.56 CEST on 2025-09-03. ‌ **Cause** On Tuesday at 9AM CEST on 2025-09-02, there was a very high load on the system. The high load on the system caused worker function apps, used to handle various processes  in the EDC, to scale out to the maximum use of 20 instances in parallel. This caused failures, and in combination with in-built retry policy of failing actions, there was an overload on the system. While form save and form view continued to work as expected throughout the duration of the issue, there were sporadic errors in specific system actions in the post-processing step. * EDC email alerts, configured in the CRF design, were sporadically not sent during this time window. It did not affect all emails. * Terms defined to be coded in the medical coding tool sporadically failed to sync to Viedoc Coder. It did not affect all terms. ‌ **Corrective action** Once the root cause of the exceptions was identified, the worker function app was gradually scaled down to run on 4 instances to avoid having too many actions ongoing at the same time. This work begun around 11AM CET on 2025-09-03 and an immediate improvement could be seen. Around noon 2025-09-03 the situation was completely resolved, and all emails could be sent as expected again. ‌ Email alerts not sent during this issue could not be re-sent and will also not show up in the communication log. ‌ All terms that had not synced properly with Viedoc Coder during the issue, were synced with Viedoc Coder on the afternoon of 2025-09-03 and 2025-09-04. ‌ **Preventive action** Scaling down the worker function app to run on 4 instances is not considered to bring any noticeable impact on performance, but will ensure the same overload issue will not occur again. An evaluation will be performed if it is necessary to scale up the worker function app again and if so, how this could be done without causing any similar issues.