48 Viedoc incidents · marzec 2024 — official updates, affected components, duration and resolution details.
Mieliśmy tymczasowe zakłócenia, które doprowadziły do klientów nie jest w stanie dotrzeć do portali .cn między około 23: 00 a 00: 00. Problem tkwi w naszej infrastrukturze i przepraszamy za niekonwencjonalność. Systemy wracają do normy i nie ma żadnych problemów z poufnością lub integralnością. Problem ten miał jedynie wpływ na dostęp do naszych systemów.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Doświadczamy insynuacji w podstawowym komponencie platformy z Azure w regionie centralnym Francji, to powoduje pewne straty ruchu, które można doświadczyć jako usługi nie są dostępne przez krótki okres czasu. Prowadzimy śledztwo i będziemy pana informować.
Nadal monitorujemy wszelkie dalsze problemy.
Incydent został rozwiązany przez Microsoft i możemy potwierdzić, że apartament Viedoc jest w pełni operacyjny. Przepraszamy za niedogodności.
Podsumowanie Doświadczyliśmy problemów w podstawowym komponencie platformy z Azure\ (Azure App Services\) w regionie centralnym Francji, który spowodował pewne straty ruchu, które klienci doświadczyli jako usługi nie jest dostępna. Monitoring systemu natychmiast wykrył problemy i powiadomił nasz zespół platformy, który odpowiedział w ciągu 1 minuty. W ciągu 15 minut możemy potwierdzić, że problemem jest dostawca platformy. # # Intencje dotknięte Wszystkie produkty w Europie na przykład Czas trwania 2026- 08- 17 09: 32 UTC do 2026- 08- 17 11: 20 UTC. # # Root Cause # Element infrastruktury w Microsoft Azure Cloud odpowiedzialny za przetwarzanie przychodzących wniosków w ramach platformy Azure App Service w regionie centralnym Francji przekroczył progi operacyjne, zmniejszając dostępność zasobów usługowych wspierających ładunki klientów. W rezultacie firma Viedoc doświadczyła problemów związanych z okresową dostępnością i niepowodzeniem wniosków. # # Impact Wpłynęło to na dostępność programu Viedoc bez wpływu na poufność, integralność i prywatność danych. Akcje Followup z dostawcą platformy o pojemności.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie badamy tę sprawę, wkrótce będzie aktualizacja.
Kwestia ta jest skorelowana z likwidacją centrum danych w Chinach i nadal prowadzimy dochodzenie.
Incydent został zidentyfikowany jako problem wewnątrz Azure Cloud China i mamy potwierdzenie, że problem został złagodzony. Jak już będziemy mieli analizę przyczyny, będziemy informować o incydencie. Przepraszamy za wszelkie niedogodności.
Podsumowanie Nasz region Chin ucierpiał z powodu awarii konfiguracji w naszym dostawcy platformy związanej z komunikacją wewnętrzną między naszymi komponentami systemu, skutecznie czyniąc nasz pakiet produktów bezużytecznym przez okres 4 godzin i 40 minut. Oczekuje się, że wpływ na klientów będzie niski ze względu na to, że będzie to noc w Chinach z normalnie bardzo niskim natężeniem ruchu. Monitoring systemu natychmiast wykrył problemy i powiadomił nasz zespół platformy, który odpowiedział w ciągu 1 minuty i możemy potwierdzić w ciągu 1 godziny, że problem był z dostawcą platformy. Bilet wsparcia typu A został zalogowany do naszego dostawcy platformy, który mógł potwierdzić, że rzeczywiście miał problem 2 godziny i 32 minuty później, i został rozwiązany 38 minut później. # # Intencje dotknięte Wszystkie produkty w Chinach na przykład Czas trwania 2026- 07- 29 12: 07 UTC do 2026- 07- 29 16: 47 UTC. # # Root Cause # Błąd konfiguracji naszego dostawcy platformy w Chinach, 21ViaNet / Microsoft Azure Cloud China. # # Impact Tylko dostępność. Nienaruszona integralność danych i poufność danych. Akcje Śledztwo z dostawcą platformy na temat poprawy ich procedur operacyjnych, monitorowania i reagowania na incydenty.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Od wydania 4.95, Viedoc Zgłoszenia me zostały zarejestrowane w bazie danych z wykorzystaniem czasu UTC zamiast lokalnej strefy czasowej witryny. Jeżeli data UTC i data lokalna strony różnią się w momencie składania, data zdarzenia w Klinice Viedoc będzie nieprawidłowo odzwierciedlać datę UTC zamiast daty lokalnej. W zależności od okna wprowadzania danych określonego w projekcie badania, może to również prowadzić do zapytania typu out- of- window. Ścieżka audytu w klinice Viedoc Interfejs, dostępna za pośrednictwem "Show History", wyświetla poprawną datę i godzinę według lokalnej strefy czasowej. Kwestia ta dotyczy zarówno obecnych jak i dotychczasowych wersji aplikacji Viedoc Me. Problem został zidentyfikowany i obecnie przygotowuje się rozwiązanie. Fix zapewni, że nowe zgłoszenia są przechowywane w lokalnej strefie czasowej witryny, ale nie będzie korygować znaczniki czasu lub out-of- oknach, które już miały miejsce. Zostaną one uwzględnione w przyszłej aktualizacji.
Aktywnie pracujemy nad jak najszybszym rozwiązaniem tej kwestii. Hotfix jest obecnie finalizowany i testowany, i szacujemy, że zostanie wydany do produkcji w pierwszej połowie przyszłego tygodnia.
Zaczniemy udostępniać hotfix do środowisk produkcyjnych w ciągu dnia dzisiaj. Aktualizacja zostanie opublikowana po zakończeniu wydania na wszystkich instancjach.
Incydent został rozwiązany wraz z udostępnieniem hotfix 4.95.2 do wszystkich przypadków szkoleń i produkcji. To zwolnienie zapobiega powtarzaniu się problemu. Jednak daty zdarzeń już zarejestrowane w UTC pozostaną na razie niezmienione, a wszelkie niezaznaczone pytania już wywołane przez ten problem pozostaną również do czasu skorygowania. Zgłoszenia przechowywane obecnie w UTC zostaną poprawione w późniejszym terminie. Terminy tej korekty nie zostały jeszcze potwierdzone.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
After the Viedoc 4.95 release, when a revision is applied to a form containing a repeating item group, and a user upgrades the form from the landing page, data previously entered in the repeating item group is cleared. The issue is occurring on the EU and US training and production instances. Investigation is ongoing. Until further information is known, we advise all customers to refrain from applying revisions requiring form upgrades on forms containing repeating item groups.
The issue has been identified and a fix is being implemented.
Hotfix 4.95.1 has been released on the US training and production instances. The incident is resolved on those instances. The hotfix will be deployed to EU training and production instances tomorrow.
Hotfix 4.95.1 has been released on the EU training and production instances. The incident is now resolved on all instances.
Temporary operational disturbance observed in the Viedoc suite on the Chinese instance (clinic.viedoc.cn).
This incident has been resolved.
Operational disturbance observed in Viedoc suite on the Chinese instance (clinic.viedoc.cn). Investigations are ongoing since 05:20 CMT
The incident has been resolved since 06:40 CMT
Operational disturbance observed in Training on the Chinese instance (clinic.viedoc.cn). Investigations are ongoing.
We are continuing to investigate this issue.
This incident has been resolved.
After the Viedoc 4.94 release, the following issues affect the EU and US training and production instances: - Users cannot approve randomization configurations in Viedoc Admin when kit allocation is not used. Randomization and kit allocation in Viedoc Clinic are not affected. - WHO Drug dictionary terms are not loading as expected in the legacy medical coding tool. The new medical coding tool is not affected. We are working on a fix for these issues.
After the Viedoc 4.94 release, the following issues affect the EU and US training and production instances: - Users cannot approve randomization configurations in Viedoc Admin when kit allocation is not used. Randomization and kit allocation in Viedoc Clinic are not affected. - WHO Drug dictionary terms are not loading as expected in the legacy medical coding tool. The new medical coding tool is not affected. - Intermittent failures in Designer, where users are unexpectedly logged out, are affecting certain users. We are working on a fix for these issues, and the Designer issue is currently under investigation.
A hotfix is currently being prepared and will be deployed to both our EU and US instances. Based on preliminary timelines, we expect this release to go out on Monday, May 11.
This incident was resolved this morning with the release of hotfix version 4.94.1 on both the EU and US instances.
Operational disturbance observed in Viedoc 4 on the European instance (v4.viedoc.net). Investigations are ongoing.
Microsoft Azure experienced a power event at their France Central datacenter, caused by a loss of utility power from an external provider. Power has since been restored via backup generators and recovery is underway. As of now, there are no active disruptions to Viedoc services, and we continue to monitor the situation closely.
Microsoft Azure experienced a power event at their France Central datacenter, caused by a loss of utility power from an external provider. Power has since been restored via backup generators and recovery is underway. As of now, there are no active disruptions to Viedoc services, and we continue to monitor the situation closely.
This incident has been resolved.
We have received reports of intermittent delivery failures affecting text messages sent to numbers with country codes +31 (Netherlands), +32 (Belgium), +33 (France), and +44 (United Kingdom). An investigation is currently underway together with the subproccessor. The default SMS sender is changed from a phone number to "Viedoc" to reduce the risk of texts being treated as spam.
Since 10.30 CET today text messages are delivered as expected to numbers with country codes previously listed.
The User Administration Log (Excel) and Log of Users and Roles (PDF) cannot currently be generated for studies containing more than 100 users. This issue was introduced in the 4.90 release and affects all instances where version 4.90 has been deployed. The root cause has been identified, and a corrective fix is currently in preparation.
A fix has been developed and is currently undergoing testing. The fix is planned to be deployed as a hotfix.
This issue has been resolved with the release of Viedoc 4.90.1, which was deployed to all production instances on 2025-12-16. The User Administration Log (Excel) and Log of Users and Roles (PDF) can now be generated as expected, including for studies containing more than 100 users.
Since around 12.30 CET, 1st of December, Viedoc is not sending any emails from the EU and US training and production instances due to a service disruption. The issue has been identified and we are working with our subprocessor to resolve the issue. All emails triggered during the affected period have been queued and will be delivered. The incident is caused by a malfunction at one of our subprocessors.
The email queue is currently being processed, and messages are being delivered, although with a temporary delay.
The queue had been fully processed at around 9.20 PM CET on 2025-12-01. Since that time emails have been delivered without delay.
Between 13:22 CET and 14:12 CET on 25 November 2025, Viedoc did not send any emails from the EU training and production instance due to a service disruption. The issue was identified and fully resolved at 14:12 CET, after which email processing resumed as normal. All emails triggered during the affected period have been queued and will be delivered. The incident was caused by a malfunction at one of our subprocessors.
The email queue is currently being processed, and messages are being delivered, although with a temporary delay.
The queue had been fully processed at around 5.30 PM CET on 2025-11-25.
Operational disturbance observed on the Chinese instance (clinic.viedoc.cn). Resolved
The planned release of version 4.89 to the CN training and production instances has been cancelled due to unforeseen technical issues specific to the Chinese server environment. As the 4.90 release is already scheduled for December, we will proceed directly from version 4.88 to 4.90 for the CN training and production instances. The impact to end users is minimal, as version 4.89 contains only non-critical bug fixes. No other instances or regions are affected by this change. We appreciate your understanding and apologize for any inconvenience this may cause.
From approximately 23.44 UTC to 23.54 UTC, users faced issues logging in to the European production instance. Investigations to find the root cause are ongoing. No other instances were affected.
Description From approximately 23.44 UTC to 23.54 UTC on 2025-11-02, users were unable to log in to the European production instance. It is possible that users faced sporadic issues logging in also between approximately 23.00 UTC and 23.44 UTC. No other instances were affected. Cause The cause of the issue was an unexpected error in the identity provider \(idp\), leading to an accumulating memory consumption during the evening \(UTC\) of 2025-11-02. From approximately 23.00 UTC users would face sporadic failures when trying to log in. From approximately 23.44 UTC users could not log in. At 23.54 UTC on 2025-11-02 the idp was restarted, and users could log in as expected again. Corrective Action Alerts were triggered when the idp did not respond and the idp was restarted again at 2354 UTC on 2025-11-02. After the restart users could log in as expected again. Preventive Action Preliminary investigation identified a few improvements that could be made to make the idp more resilient. Implementation of these improvements have been initiated while the investigation of the issue continues.
Emails triggered from EDC actions in Viedoc has been failing sporadically on the EU production instance since approximately 9AM CEST 2025-09-02. No other instances are affected. Investigations are ongoing.
The issue has been identified and a fix is being implemented.
A fix has been implemented and emails are now being sent as expected. We will continue to monitor the situation.
Since approximately noon CEST, emails triggered from the EDC has been delivered as expected.
**Description** Between 9AM CEST on 2025-09-02 and noon CEST 2025-09-03 there were sporadic failures in email alerts expected to be triggered from Viedoc on the EU production instance. No other instances were affected. Customers were initially informed through the status page at 15.56 CEST on 2025-09-03. **Cause** On Tuesday at 9AM CEST on 2025-09-02, there was a very high load on the system. The high load on the system caused worker function apps, used to handle various processes in the EDC, to scale out to the maximum use of 20 instances in parallel. This caused failures, and in combination with in-built retry policy of failing actions, there was an overload on the system. While form save and form view continued to work as expected throughout the duration of the issue, there were sporadic errors in specific system actions in the post-processing step. * EDC email alerts, configured in the CRF design, were sporadically not sent during this time window. It did not affect all emails. * Terms defined to be coded in the medical coding tool sporadically failed to sync to Viedoc Coder. It did not affect all terms. **Corrective action** Once the root cause of the exceptions was identified, the worker function app was gradually scaled down to run on 4 instances to avoid having too many actions ongoing at the same time. This work begun around 11AM CET on 2025-09-03 and an immediate improvement could be seen. Around noon 2025-09-03 the situation was completely resolved, and all emails could be sent as expected again. Email alerts not sent during this issue could not be re-sent and will also not show up in the communication log. All terms that had not synced properly with Viedoc Coder during the issue, were synced with Viedoc Coder on the afternoon of 2025-09-03 and 2025-09-04. **Preventive action** Scaling down the worker function app to run on 4 instances is not considered to bring any noticeable impact on performance, but will ensure the same overload issue will not occur again. An evaluation will be performed if it is necessary to scale up the worker function app again and if so, how this could be done without causing any similar issues.
When exporting custom reports in xptv8 format through Viedoc Reports, and using an %xpt2loc macro to import the data to SAS, the macro can fail when using long labels for columns. Investigation is ongoing.
The issue has been resolved with a hotfix on Viedoc Reports. When exporting custom reports in xptv8 format from Viedoc Reports, using an %xpt2loc macro to import the data to SAS will now work as expected also when using long labels for columns.
Intermittent network disturbance observed on the Chinese instance (clinic.viedoc.cn). There are problems to reach the instance from time to time. Investigations are ongoing.
Access to Chinese instance is stable again. Continue monitoring status.
This incident has been resolved.