52 Sashido incidents · grudzień 2023 — official updates, affected components, duration and resolution details.
Nasz zespół bada przyczynę problemu.
Nasz system monitorowania informuje, że wszystkie nieudane zastosowania są zdrowe. Będziemy kontynuować aktywne monitorowanie.
Dobre wieści! Wszystko powinno wrócić do normy. Proszę dać nam znać, jeśli będą jakieś kłopoty. Dziękuję bardzo za cierpliwość, kiedy pracowaliśmy nad tym.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie mamy do czynienia z problemem dotykającym poczty e-mail z korespondencji transakcyjnej w regionie UE. Nasz dostawca poczty e-mail, Amazon SES, tymczasowo wstrzymał wysyłanie z jednego z naszych regionów produkcyjnych podczas przeglądania nietypowych działań wysyłających. W rezultacie niektóre wiadomości e-mail, takie jak powiadomienia o koncie, e-maile weryfikacyjne, resety haseł i inne wiadomości transakcyjne mogą być opóźnione lub niedostarczone. Nasze systemy nadal działają i obecnie nic nie wskazuje na to, że wpłynęły na dane klientów. Aktywnie badamy problem z AWS i przeglądamy naszą infrastrukturę e-mail. Przywracanie normalnej dostawy poczty elektronicznej jest naszym najwyższym priorytetem. Dostarczymy kolejną aktualizację, jak tylko będziemy mieli więcej informacji.
W dalszym ciągu aktywnie pracujemy nad rozwiązaniem transakcyjnego zakłócenia w dostawie poczty elektronicznej, które ma wpływ na serwery Parse w regionie UE. Wraz z Amazon AWS badamy źródło niezwykłej działalności wysyłającej, która spowodowała, że Amazon SES tymczasowo wstrzymał wysyłkę e-mail z dotkniętego regionu produkcyjnego. Obecnie skupiamy się nie tylko na przywróceniu normalnej usługi, ale także na identyfikacji przyczyny i zapewnieniu, że problem nie może się powtórzyć. Śledztwo trwa dłużej niż początkowo oczekiwaliśmy, i rozumiemy, że transakcyjna dostawa poczty elektronicznej, w tym weryfikacja konta, reset haseł, powiadomienia i inne e-maile aplikacji, może być krytyczna dla niektórych firm naszych klientów. Jeśli ten incydent ma znaczący wpływ na Twoją aplikację produkcyjną lub działalność gospodarczą, skontaktuj się z naszym Zespołem Sukces Klienta pod adresem support @ sashido.io Będziemy współpracować z Tobą bezpośrednio do oceny i, tam gdzie to możliwe, zapewnić alternatywne rozwiązanie dostawy e-mail podczas dochodzenia z AWS nadal. Nasza infrastruktura i aplikacje Serwera Parse nadal działają, a obecnie nie mamy żadnych wskazówek, że dane klientów zostały naruszone. Przepraszamy za przedłużające się zakłócenia i doceniamy waszą cierpliwość, podczas gdy współpracujemy z AWS w celu pełnego rozwiązania problemu. Dostarczymy kolejną aktualizację, jak tylko będziemy mieli znaczący postęp do podzielenia.
Zidentyfikowaliśmy źródło nietypowych działań wysyłających, które spowodowały wstrzymanie dostawy poczty e-mail z dotkniętego regionu produkcyjnego. Nasz zespół już rozpoczął wdrażanie wymaganych poprawek i ulepszeń bezpieczeństwa. Po zakończeniu tych zmian zatwierdzimy systemy, które zostały dotknięte, aby zapewnić pełne rozwiązanie problemu i że normalne wysyłanie może bezpiecznie wznowić. Po tej walidacji, będziemy koordynować z Amazon AWS, aby zakończyć ich przegląd i przywrócić wysyłkę e-mail z zewnątrz transakcji. Proces dochodzeniowy i rekultywacyjny trwał dłużej niż pierwotnie oczekiwaliśmy i rozumiemy, że e-maile transakcyjne - w tym weryfikacja konta, reset haseł, powiadomienia i inne e-maile aplikacji, mogą mieć kluczowe znaczenie dla niektórych firm klientów. Jeśli ten incydent ma znaczący wpływ na Twoją aplikację produkcyjną lub działalność gospodarczą, skontaktuj się z naszym zespołem wsparcia. Będziemy współpracować z Państwem bezpośrednio w celu oceny i, w miarę możliwości, zapewnienia alternatywnego rozwiązania dostawy e-mail podczas finalizacji rekultywacji i przeglądu AWS. Nasza infrastruktura i aplikacje Serwera Parse nadal działają, a obecnie nie mamy żadnych wskazówek, że dane klientów zostały naruszone. Doceniamy Państwa cierpliwość i dostarczymy kolejną aktualizację, jak tylko proces rekultywacji i walidacji będzie dalej kontynuowany.
Amazon AWS odzyskał dostęp do konta SES, na które wpłynął, a przesyłka transakcyjna e-mail znów działa. Sprawdziliśmy, że e-maile są wysyłane pomyślnie i będzie nadal uważnie monitorować infrastrukturę i wysyłanie działalności w celu zapewnienia, że usługa pozostaje stabilna. W tym momencie uważamy, że natychmiastowe zakłócenie usługi zostało rozwiązane, podczas gdy monitorowanie będzie kontynuowane jako dodatkowy środek ostrożności. Dziękuję za cierpliwość i zrozumienie podczas tego incydentu.
Transakcyjna dostawa poczty elektronicznej pozostaje operacyjna, a my nadal uważnie monitorujemy infrastrukturę po ostatnich pracach naprawczych. W ramach dodatkowych środków bezpieczeństwa, które wprowadziliśmy, obecnie mamy do czynienia z niewielką liczbą fałszywych pozytywów wpływających na pewne legalne działania w zakresie stosowania przez klientów. Sprawdzamy te przypadki w sposób ciągły i stosujemy poprawki tak szybko, jak to możliwe, aby zminimalizować wszelkie skutki i zapewnić, że aplikacje klientów nadal działają normalnie. Chcielibyśmy podziękować wszystkim klientom, którzy zgłosili niespodziewane zachowanie, Twoje sprawozdania są niezwykle pomocne w pozwalaniu nam zidentyfikować i zająć się tymi sprawami szybko. Doceniamy również Państwa cierpliwość i zrozumienie, a jednocześnie nadal wzmacniamy ochronę naszej infrastruktury. W niektórych sytuacjach nasze zabezpieczenia mogą być tymczasowo bardziej restrykcyjne niż to konieczne, ale naszym priorytetem jest ochrona platformy, a w końcu aplikacji i firm naszych klientów działających na niej. Będziemy nadal uważnie monitorować sytuację i w razie potrzeby dokonywać dostosowań.
Ten incydent został rozwiązany.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
We're experiencing an increased rate of unhealthy applications. Currently we are looking into the issue.
We are currently experiencing connectivity issues affecting part of our infrastructure hosted in the FR-PAR datacenter region. Our datacenter provider, Scaleway, has confirmed an ongoing network incident in the same region. According to their latest update, the issue is related to a power problem inside the datacenter, and most services have already recovered while their teams continue working on the remaining affected systems. Some users may experience intermittent connectivity issues, increased latency, or temporary service interruptions. Our team is actively monitoring the situation and will continue to follow Scaleway’s recovery progress closely. We will provide another update as soon as we have more information or once the situation is fully stabilized. Provider incident: https://status.scaleway.com/incidents/qkj49g6g3ykp
A fix has been implemented and we are monitoring the results.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
We're experiencing an increased rate of applications health errors currently looking into the issue.
Our monitoring system report all of the failing applications are healthy. We we will continue monitoring proactively.
The incident is resolved. Apologies for this connection blip. Thank you as always for sticking with us, we really appreciate it.
Our team is currently investigating the root cause of the issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
Issue is resolved and for more than 1 hour there are no reports for unhealthy applications.
We're experiencing an increased rate of applications health errors currently looking into the issue.
The issue has been identified and a fix is being implemented.
Our monitoring system report all of the failing applications are healthy. We we will continue monitoring proactively.
Issue is resolved and for more than 1 hour there are no reports for unhealthy applications.
We are currently experiencing an issue where builds and deployments are completing successfully at the infrastructure level, but are not being correctly reflected in the Dashboard for some applications. This appears to be a synchronization issue affecting the Dashboard visibility layer only. There is no impact on the actual build or deployment processes. Our team is actively investigating the root cause.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Our team is currently investigating the root cause of the issue
We have identified and mitigated the immediate issue affecting multiple hypervisors. The platform is currently stable. We are continuing to investigate the underlying cause of the unusual hardware behavior to ensure long-term reliability. At this stage, there is no active impact, but we are monitoring closely and will share further updates as we learn more.
We continue to monitor the situation closely following the mitigation of the issue affecting multiple hypervisors. The platform remains stable following the applied mitigation. We are continuing to monitor the situation closely and investigate the root cause of the unusual hardware behavior. If you notice anything unexpected or experience any issues, please contact our support team immediately. Our team is actively investigating the underlying cause to ensure long-term reliability.
We continue to monitor the situation closely and investigate the underlying cause. As shared previously, we will provide the next update on this status page as soon as we have any significant new information.
After 10 days with no further anomalies observed, we are closing this incident. Over the course of the remediation, we fully replaced 100% of our database hardware infrastructure in Europe. This included a significant number of migrations, reconfigurations, and coordinated infrastructure changes performed across the platform. The work required a major effort from our engineering team and was executed with a strong focus on maintaining platform stability and minimizing customer-facing impact. Since completion, the platform has remained stable, and the affected services are now running on new and improved hardware. We will continue to monitor the environment closely, but at this stage the incident is considered resolved.
We're experiencing an increased rate of applications health errors currently looking into the issue.
We have implemented a fix for this issue and are currently monitoring the results. We will update once we have confirmed it is resolved.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
We're experiencing an increased rate of applications health errors currently looking into the issue.
All applications have returned to healthy state. We will continue to monitor the situation.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
Our team is currently investigating the root cause of the issue.
All applications have returned to healthy state. We will continue to monitor the situation.
We have some good news to share! Everything is now looking clear from our side and all users should be able to work with their applications without any interruptions. Please let us know at [email protected] if you are still experiencing problems. We apologize for disrupting your day and thank you for your patience.
We're experiencing an increased rate of applications health errors currently looking into the issue.
We have implemented a fix for this issue and are currently monitoring the results. We will update once we have confirmed it is resolved.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
Our team is currently investigating the root cause of the issue.
We have implemented a fix for this issue and are currently monitoring the results. We will update once we have confirmed it is resolved.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
We're experiencing an increased rate of applications health errors currently looking into the issue.
We’ve identified the cause of the increased application errors. The issue originates from our data center provider, who is currently experiencing an outage impacting network and compute stability. Our platform remains operational, but some requests may continue to fail intermittently until the provider resolves the incident. You can follow their official updates here: https://bare-metal-servers.status-ovhcloud.com/incidents/9y4sd9ly0lqb We’ll continue to monitor and update as the situation evolves.
Our monitoring system report all of the failing applications are healthy. We we will continue monitoring proactively.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
We're experiencing an increased rate of applications health errors currently looking into the issue.
We have implemented a fix for this issue and are currently monitoring the results. We will update once we have confirmed it is resolved.
We have some good news to share! Everything is now looking clear from our side and all users should be able to work with their applications without any interruptions. Please let us know at [email protected] if you are still experiencing problems. We apologize for disrupting your day and thank you for your patience.
Our team is currently investigating the root cause of the issue.
A fix has been implemented and we are monitoring the results.
Issue is resolved and for more than 1 hour there are no reports for unhealthy applications.
We are currently investigating this issue.
We’ve identified that the ongoing connectivity issues
We’ve identified that the ongoing connectivity issues affecting some services in our North America datacenter are due to scheduled maintenance on the vRack network infrastructure by OVHcloud. - Maintenance window: Oct 28, 2025, 08:00–10:00 UTC - Impact: Intermittent or total loss of vRack connectivity during the maintenance period. - Current state: Maintenance is still in progress on OVH’s side. - Reference: https://network.status-ovhcloud.com/incidents/pc33ftfc2xxq We are actively monitoring the situation and will update once connectivity is fully restored. Thank you for your patience and understanding.
Our monitoring system report all of the failing applications are healthy. We we will continue monitoring proactively.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
Our team is currently investigating the root cause of the issue.
All applications have returned to healthy state. We will continue to monitor the situation.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
We're experiencing an increased rate of applications health errors currently looking into the issue.
Our monitoring system report all of the failing applications are healthy. We we will continue monitoring proactively.
Issue is resolved and for more than 1 hour there are no reports for unhealthy applications.
We're experiencing an increased rate of unhealthy applications. Currently we are looking into the issue.
All applications have returned to healthy state. We will continue to monitor the situation.
We have implemented a fix for this issue and are currently monitoring the results. We will update once we have confirmed it is resolved.
Good news! Things should be back to normal again across the board. Please let us know if there is any further trouble. Thank you so much for your patience while we worked to sort this out.
