Störungsverlauf von Alphavps

1. 30. Juli 2026 um 12:50 UTCidentified

   Wir haben mit der präventiven Hardware-Wartung auf den folgenden Knoten begonnen: SOFSTORAGE01 SOFSTORAGE06 SOFSTORAGE07 VPS-Instanzen, die auf den betroffenen Knoten gehostet werden, können vorübergehend unterbrochen werden. Die erwartete Ausfallzeit beträgt ca. 15 bis 30 Minuten pro VPS. Unser Team überwacht die Wartung genau und wird im Laufe der Arbeiten weitere Updates bereitstellen.

2. 30. Juli 2026 um 13:13 UTCidentified

   Wir beginnen mit der Arbeit an SOFSTORAGE07. VMs wurden anmutig heruntergefahren und werden in Kürze wieder hochgefahren.

3. 30. Juli 2026 um 13:25 UTCidentified

   Wir haben die Arbeit an SOFSTORAGE07 abgeschlossen und virtuelle Maschinen booten wieder. Wir gehen mit SOFSTORAGE01 voran, virtuelle Maschinen werden heruntergefahren und die Wartung beginnt.

4. 30. Juli 2026 um 14:00 UTCidentified

   Wir haben die Arbeit an SOFSTORAGE01 abgeschlossen und virtuelle Maschinen starten wieder. Wir gehen mit SOFSTORAGE06 voran, virtuelle Maschinen werden heruntergefahren und die Wartung beginnt.

5. 31. Juli 2026 um 10:55 UTCidentified

   Die Wartung von SOFSTORAGE06 ist abgeschlossen und alle VMs werden hochgefahren.

6. 21. August 2026 um 11:11 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 29. Juni 2026 um 18:42 UTCidentified

   Wir erleben derzeit einen groß angelegten DDoS-Angriff, der auf Teile unserer Netzwerkinfrastruktur abzielt. Dieser Angriff verursacht intermittierende Verbindungsprobleme und erhöhte Latenzzeiten für einige Kunden. Unser Netzwerk-Engineering-Team arbeitet aktiv daran, zusätzliche dauerhafte Minderungsmaßnahmen zu ergreifen, um diesem Angriff vollständig zu begegnen und die Widerstandsfähigkeit unserer Infrastruktur weiter zu stärken. Temporäre Abschwächung ist bereits vorhanden, und wir überwachen und passen unsere Verteidigung weiter an, während sich der Angriff entwickelt. Wir entschuldigen uns aufrichtig für jede Störung, die dies verursachen kann, und schätzen Ihre Geduld, während wir auf eine vollständige und dauerhafte Lösung hinarbeiten. Weitere Aktualisierungen werden bereitgestellt, sobald Fortschritte erzielt werden.

2. 29. Juni 2026 um 19:39 UTCidentified

   Wir arbeiten weiter an einer Lösung für dieses Problem.

3. 29. Juni 2026 um 20:01 UTCidentified

   Wir haben in Nürnberg Abschwächung angewandt. Sofia steht noch aus und sollte in Kürze beantragt werden. Da es sich um Erpressungs- / Lösegeld-DDoS-Angriffe handelt, können wir keine weiteren Details öffentlich mitteilen.

4. 29. Juni 2026 um 21:22 UTCidentified

   Während die böswilligen Angreifer die Angriffsmuster ständig ändern, wenden wir eine Abschwächung an und die Mehrheit unserer Kunden ist wieder online. Wir beteiligen uns auch an der örtlichen Strafverfolgung. Weitere Informationen folgen.

5. 30. Juni 2026 um 00:52 UTCmonitoring

   Wir haben die Abschwächung an allen unseren Standorten implementiert und der Verkehr hat sich wieder normalisiert. Es könnte Abweichungen in ICMP geben, aber wir vertrauen darauf, dass das Problem vollständig gelöst wird.

6. 30. Juni 2026 um 07:30 UTCmonitoring

   Wir beobachten die Situation weiter und wenden Abschwächungsanpassungen an. Alle Dienste an allen Standorten sind online und gelten derzeit als stabil.

7. 30. Juni 2026 um 07:36 UTCmonitoring

   Wir werden weiterhin auf weitere Probleme achten.

8. 30. Juni 2026 um 16:38 UTCmonitoring

   Wir überwachen die Situation und stimmen das Minderungsprofil standortübergreifend ab, um einen nahtlosen Betrieb der Minderungsgeräte mit minimalen Unterbrechungen zu gewährleisten.

9. 9. Juli 2026 um 03:44 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 27. Mai 2026 um 12:56 UTCidentified

   Wir haben mit der dringenden Netzwerkwartung an unserem Standort in New York begonnen, um nach dem unerwarteten Ausstieg unseres derzeitigen Anbieters aus der Anlage neue Upstream-Konnektivität bereitzustellen. Weitere Details werden per E-Mail an alle betroffenen Clients der virtuellen Maschine gesendet. Während dieser Wartung können bei einigen Kunden intermittierende Verbindungsunterbrechungen oder vorübergehende Ausfallzeiten auftreten, während Netzwerkmigrationsaktivitäten durchgeführt werden. Das Wartungsfenster wird voraussichtlich bis zu 8 Stunden dauern, obwohl wir glauben, dass die tatsächliche Störung deutlich kürzer sein wird. Wir entschuldigen uns aufrichtig für die kurzfristige Ankündigung und die damit verbundenen Unannehmlichkeiten. Dieses Upgrade ist ein wichtiger Schritt zur Verbesserung der langfristigen Stabilität und Qualität unserer New Yorker Dienste. Weitere Updates werden hier veröffentlicht, wenn der Fortschritt weitergeht.

2. 27. Mai 2026 um 15:28 UTCmonitoring

   Wir haben mit dem Netzwerk-Upgrade abgeschlossen und ab 1 Stunde - das gesamte Netzwerk ist stabil. Wir werden die Überwachung noch einige Stunden fortsetzen, bis wir den Fall schließen.

3. 30. Juni 2026 um 00:51 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 7. April 2026 um 09:31 UTCidentified

   Ein kritischer RAID-Array-Fehler trat heute auf dalstorage01 auf. Der RAID-Controller trat in einen instabilen Zustand ein und setzte die Schreibvorgänge fort, was zu einer Beschädigung mehrerer KVM-Disk-Images führte. Der Knoten wurde sofort offline genommen, um weitere Auswirkungen zu verhindern. Der RAID-Controller wurde ersetzt und die Wiederherstellungsverfahren laufen derzeit. Aufgrund der Arraygröße ist die Wiederherstellung zeitintensiv und die Datenkonsistenz kann nicht garantiert werden. Zu diesem Zeitpunkt ist die verfügbare Kapazität in Dallas begrenzt. Wir arbeiten aktiv an der Bereitstellung zusätzlicher Hardware, eine genaue ETA ist jedoch noch nicht bestätigt. Betroffene Kunden erhalten Ersatzdienste an alternativen Standorten. Rettungszugriff kann auf Anfrage für Best-Effort-Datenwiederherstellung aktiviert werden. Weitere Updates werden bereitgestellt, wenn die Fortschritte fortgesetzt werden. Wenn Ihr VPS davon betroffen ist, haben Sie bereits eine E-Mail mit weiteren Schritten erhalten. Wenn Ihnen keine E-Mail gesendet wird - öffnen Sie bitte sofort ein Ticket.

2. 30. Juni 2026 um 00:52 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 22. September 2025 um 22:05 UTCinvestigating

   We've been alerted of an issue with our sofstorage22 node. We've dispatched DC engineers to check the status of the server and attempt recovery.

2. 24. September 2025 um 17:35 UTCidentified

   We continue working on the sofstorage22 host node. Unfortunately, at the moment we're unable to restore the RAID array. We're continuing with data recovery and further updates will be posted within 24 hours.

3. 29. Januar 2026 um 20:02 UTCresolved

   This incident has been resolved.

1. 4. September 2025 um 05:13 UTCinvestigating

   We've been alerted of a problem with our nuestorage03 KVM storage Node. Upon checking, we've discovered the node is completely unreachable by IPMI. We've dispatched on-site techs to check the condition of the node. Further updates to follow.

2. 4. September 2025 um 05:26 UTCresolved

   This incident has been resolved.

1. 3. September 2025 um 05:09 UTCidentified

   We've been alerted by our system that our nueryzenkvm01 host node is currently down. As we're unable to open an IPMI connection, we have engaged Datacenter technicians on-site. Updates to follow.

2. 3. September 2025 um 05:27 UTCidentified

   We're currently experiencing a hardware failure and we'll be replacing some parts of the chassis with on-site spares. ETA of resolution: 2-3 hours.

3. 3. September 2025 um 07:33 UTCresolved

   This incident has been resolved.

1. 5. Juli 2025 um 08:58 UTCidentified

   On July 4th, 2025, we detected a catastrophic RAID10 SSD array failure on node nueovz04. Fortunately, this node was in the process of being decommissioned and actively migrated to new infrastructure, so the impact is limited to a small number of customers. Since discovery, we have attempted multiple recovery approaches, including replacing RAID controllers and utilizing advanced data recovery techniques. We are currently preparing an identical server chassis to import the array and attempt further recovery efforts. At this time, we cannot guarantee recovery success or provide a precise ETA, but we are targeting the first half of the upcoming week for the next update or resolution. We sincerely apologize for the inconvenience and thank you for your patience while we work through this. — The AlphaVPS Team

2. 9. Juli 2025 um 08:33 UTCresolved

   Status: Recovery Unsuccessful – Services Being Recreated Following extensive recovery efforts on node nueovz04, we regret to inform you that we have not been able to restore the RAID10 SSD array. Our team has attempted: - Replacing the RAID controller cache - Replacing the entire RAID controller with multiple known working controllers - Transplanting the drives into an identically configured chassis, with fully matching firmware and hardware Despite all recovery attempts, the RAID array remains inaccessible. At this stage, we must consider the data on this node to be lost. We are now moving forward with recreating affected services on a new node. Our team will be reaching out individually to each impacted customer to coordinate this process. If you were hosted on nueovz04 and have not received an email from us, we urge you to contact our support team as soon as possible. We deeply regret this outcome and sincerely apologize for the disruption. Thank you for your patience and understanding during this time. — The AlphaVPS Team

1. 25. Juni 2025 um 16:40 UTCidentified

   We've detected an issue with our sofovz06 node. We're working on resolving it. Please stand by for updates.

2. 26. Juni 2025 um 07:44 UTCresolved

   We've resolved the issue as of 14 hours ago. We've monitored the situation throughout the time and believe that system is now stable.

1. 31. Mai 2025 um 03:59 UTCidentified

   We've been informed of an urgent DataCenter maintenance in our NYC facility, affecting some of our services there. ETA of service restoration is 1-2 hours.

2. 31. Mai 2025 um 12:59 UTCresolved

   The incident is fully resolved.

1. 20. Dezember 2024 um 07:49 UTCinvestigating

   We've been alerted of a catastrophic RAID failure on our nuestorage07 node. Earlier this morning, the controller started flapping, which jumped the I/O load to over 90. This made every VM on the host hypervisor unresponsive. We've proceeded with replacing the RAID adapter and we're moving towards an attempted recovery. At this point, we're unsure if recovery would be possible.

2. 20. Dezember 2024 um 09:31 UTCidentified

   We're currently working on bringing the node back online in a stable state. We estimate that it would take us 3-4 additional hours before we start booting the virtual machines up and assessing the damage. Please stand by for further updates.

3. 20. Dezember 2024 um 13:54 UTCidentified

   We are starting with restoration of individual KVM machines. Further updates to follow.

4. 20. Dezember 2024 um 21:04 UTCidentified

   We're continuing to work on restoring VMs, if your VM is affected - please wait until it's booted up.

5. 21. Dezember 2024 um 14:01 UTCmonitoring

   We'll be booting up the remaining virtual servers in the next 1 hour and continue with monitoring the hypervisor.

6. 21. Dezember 2024 um 15:44 UTCmonitoring

   Unfortunately, as we booted up the majority of the affected VMs, the node started becoming unstable again with flush operations starting to get queued. We're looking into alternative solutions at the moment. Further updates to come.

7. 21. Dezember 2024 um 23:35 UTCmonitoring

   We've proceeded with replacing additional hardware. After we've performed manual fsck on each virtual machine's virtual drive - we've proceeded with booting up all affected VPS. As of now, all services are restored. We'll be monitoring the situation throughout the next days.

8. 1. Januar 2025 um 12:08 UTCresolved

   We've monitored the situation for the past 11 days and as of now, everything is stable and we're closing the issue.

1. 27. September 2024 um 12:04 UTCidentified

   We've identified an issue with our Nuremberg network. We're working on resolving it.

2. 27. September 2024 um 12:10 UTCmonitoring

   A fix has been implemented. The issue was related to a reboot of a virtual chassis member, causing multiple BGP sessions to start flapping. We're monitoring the environment and we'll apply further fixes as necesary.

3. 28. September 2024 um 15:38 UTCresolved

   We've been monitoring the situation and a fix has been implemented for this specific edge case. We're closing this as resolved.

1. 9. September 2024 um 16:47 UTCinvestigating

   Our monitoring has alerted us that our laxryzenkvm07 node is currently offline. During our investigation, we've found out that we're unable to reach IPMI/BMC as well. We're dispatching on-site technicians to check the status of the server. Further updates to follow!

2. 9. September 2024 um 17:15 UTCresolved

   Services are back online now.

1. 18. Mai 2024 um 10:00 UTCidentified

   Our engineers have identified an upstream-related problem, causing packet loss from certain routes towards our London infrastructure. The issue was identified to be upstream-caused. We're awaiting our London connectivity partners to further update us with an estimation of time for service restoration.

2. 18. Mai 2024 um 10:10 UTCmonitoring

   The issue seems to be currently resolved but we're awaiting updates from our upstream. We will keep monitoring throughout the day.

3. 18. Mai 2024 um 13:40 UTCmonitoring

   Our London connectivity partners state that the issue has been identified and resolved. We will continue to monitor the network throughout the day.

4. 18. Mai 2024 um 17:44 UTCresolved

   As per now - we consider this to be resolved.

1. 12. Dezember 2023 um 09:12 UTCidentified

   We've identified a hardware issue with our nueovz04 node and we've immediately taken it offline, pending remote hands in DC to swap some hardware components.

2. 12. Dezember 2023 um 10:06 UTCmonitoring

   The node is back online and we'll be monitoring it for stability and further issues.

3. 3. April 2024 um 08:57 UTCresolved

   This incident has been resolved.

1. 10. November 2023 um 06:09 UTCidentified

   Hello, We've identified an issue in our Sofia location, affecting our network. We've isolated it to our QFX Virtual Chassis Core. We've restored back connectivity on a single member of our Virtual Chassis and no redundancy is present at the moment. We're working on bringing the rest of our VC members online to restore redundancy.

2. 10. November 2023 um 09:04 UTCidentified

   We've identified the main problem, which was related to one of the members of our Juniper QFX Virtual Chassis. At the moment, we believe that one of the virtual chassis members suffered a catastrophic failure of internal storage. Unfortunately, this specific Juniper QFX device was the active master in our VC configuration. As per best practices, we run multiple devices, which can take over the mastership when the current master fails, however in this case - this has not happened, as JunOS was partially running on the failing device. The master killed the internal routing sessions and no packets were being transmitted via the secondary devices. Once we determined the root cause, we've done a manual switchover to another VC member and connectivity was restored. We're working on replacing the failing device and bringing it back in our VC to restore redundancy. Service redundancy should still be considered to be at risk. IPv6 connectivity is not restored on 100% yet, as our priority is bringing v4 redundancy back in place. Further updates to follow.

3. 10. November 2023 um 09:39 UTCidentified

   As of now, IPv6 connectivity is also restored. We're proceeding with replacing the virtual chassis member.

4. 10. November 2023 um 12:34 UTCmonitoring

   We've installed a new QFX member, after initial configuration and restored full redundancy. As of now, all systems are back to being fully redundant again. We'll continue monitoring the infrastructure and close this issue later today.

5. 10. November 2023 um 18:19 UTCresolved

   We're closing this incident as resolved.

1. 22. Mai 2023 um 07:58 UTCidentified

   As per our previous email - we're beginning the pre-scheduled migration of nuestorage* nodes.

2. 22. Mai 2023 um 08:08 UTCidentified

   We're taking down nuestorage01 node down.

3. 22. Mai 2023 um 08:23 UTCidentified

   Nuestorage01 is ready and booting up, nuestorage02 is currently being shutdown.

4. 22. Mai 2023 um 08:47 UTCidentified

   We've shutdown nuestorage03. As of the moment - nuestorage02 shows further hardware problems and we'll shut it down again to further debug.

5. 22. Mai 2023 um 09:05 UTCidentified

   We've completed the maintenance on nuestorage03 and we've taken back nuestorage02 for further checks. As of now - both nuestorage01 and nuestorage03 can be considered stable.

6. 22. Mai 2023 um 09:23 UTCresolved

   nuestorage02 node is back up and running. As of now - all nodes are back online and all instability issues should be permanently resolved! We're closing this as resolved.

1. 15. Mai 2023 um 08:38 UTCinvestigating

   Our monitoring has detected network connectivity issues and packetloss in our LAX location. This seems to be related to our upstream and is out of our scope. We're currently awaiting their network engineers to sort out the problem.

2. 15. Mai 2023 um 11:22 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 15. Mai 2023 um 12:42 UTCresolved

   The incident has been resolved and the main cause was a significant peering disturbance in the LA ANY2 peering platform.

1. 25. Januar 2023 um 12:47 UTCinvestigating

   We've started the pre-scheduled network maintenance in Sofia. Minor and short service disruptions might occur.

2. 25. Januar 2023 um 15:54 UTCresolved

   We've completed the maintenance without any disruption to client services and are closing the maintenance window.

1. 2. Januar 2023 um 15:03 UTCinvestigating

   We're investigating a complete network outage in London, related to our upstream. Further news to follow.

2. 2. Januar 2023 um 16:16 UTCidentified

   As of now, we've restored connectivity to the majority of our clients in London. A small portion of clients residing on a specific network segment are still affected. We're dealing with a large-scale network attack and working closely with our upstreams on completely mitigating the attack.

3. 2. Januar 2023 um 17:00 UTCresolved

   Our upstream applied some additional mitigation rules on the Corero device and as of now - all clients are back online.