Erhöhte Fehlerquoten auf der US-Fehlerreporting-API
- resolved
Zwischen 19:54 und 20:07 UTC am 15. August erlebten Anfragen an unsere US-Fehlermelde-API (api.honeybadger.io) eine erhöhte Fehlerrate. Während dieses Fensters hat eine Mehrheit der Anfragen zum Einreichen von Fehlern und Ereignissen 5xx Antworten erhalten. Browser (JavaScript) Fehlermeldungen, Quellkarten-Uploads, die Honeybadger-Webanwendung, Dashboards, Uptime-Überwachung und unsere EU-Region waren nicht betroffen. Was passierte: Ab 19:54 UTC begann eine einzelne Quelle, Fehlerberichte mit etwa dem 150-fachen ihrer normalen Rate einzureichen, wobei die Nutzlasten um ein Vielfaches größer waren als der Durchschnitt. Dies hat das Gesamtvolumen der Daten, die in unserer Einnahmeebene ankommen, mehr als verdoppelt, die innerhalb einer Minute gesättigt wurden. Da der gesättigte dienst weiterhin verbindungen akzeptierte, anstatt fehler direkt zurückzugeben, registrierte unser autoskalieren und alarmieren - die auf fehlerreaktionen achten - das problem nicht schnell, und die kapazität wurde später hinzugefügt, als es hätte sein sollen. Service erholte sich um 20:07 UTC, sobald zusätzliche Kapazität online ging. Die meisten betroffenen Berichte wurden von unseren Clientbibliotheken erfolgreich getestet, sobald die API wiederhergestellt war, so dass die große Mehrheit der während des Fensters übermittelten Daten letztendlich empfangen wurde. Berichte, die von Bibliotheken ohne Wiederholungslogik gesendet wurden, wurden nicht empfangen und können nicht wiederhergestellt werden. Was wir getan haben: Unsere Ingestion-Ebene skaliert jetzt zusätzlich zu den Fehlerraten die Antwortlatenz, so dass diese Art von Sättigung innerhalb von ein oder zwei Minuten erkannt wird und nicht erst, wenn Fehler auftreten. Wir haben auch die Basiskapazität der Stufe erhöht und unsere Paging-Benachrichtigungen erweitert, um Fehler abzudecken, die nicht als Serverfehler auftreten. Wir fügen zusätzlich Grenzen hinzu, wie viele Daten eine einzelne Quelle übermitteln kann. Es tut uns leid für die Störung und für Lücken, die dies in Ihren Fehlerdaten während des Fensters verursacht hat.
Automatisch aus der offiziellen Störungsmeldung übersetzt.