Tassi di guasti elevati sull'API di reporting degli errori USA
- resolved
Tra le 19:54 e le 20:07 UTC il 15 agosto, le richieste alla nostra API di segnalazione degli errori degli Stati Uniti (api.honeybadger.io) hanno sperimentato un tasso di guasto elevato. Durante questa finestra, la maggior parte delle richieste di inviare errori ed eventi tempestivi o ricevuti 5xx risposte. Browser (JavaScript) segnalazione di errori, upload di mappe di origine, l'applicazione web Honeybadger, dashboard, monitoraggio uptime e la nostra regione UE non sono stati colpiti. Che cosa è successo: A partire dalle 19:54 UTC, una singola fonte ha iniziato a presentare rapporti di errore a circa 150 volte il suo tasso normale, con i carichi di pagamento più volte più grandi della media. Questo più che raddoppiato il volume totale di dati che arrivano al nostro livello di ingestione, che ha saturato entro un minuto. Poiché il servizio saturato continuava ad accettare le connessioni piuttosto che restituire gli errori outright, il nostro autoscaling e l'avviso — che guardano per le risposte di errore — non ha registrato il problema rapidamente, e la capacità è stata aggiunta più tardi di quanto avrebbe dovuto essere. Servizio recuperato a 20:07 UTC una volta supplementare capacità è venuto online. La maggior parte dei report interessati sono stati riattivati con successo dalle nostre librerie client una volta recuperata l'API, quindi la grande maggioranza dei dati inviati durante la finestra è stata infine ricevuta. I rapporti inviati da biblioteche senza riprova logica non sono stati ricevuti e non possono essere recuperati. Quello che abbiamo fatto: il nostro livello di ingestione ora scala sulla latenza di risposta oltre ai tassi di errore, in modo che questo tipo di saturazione viene rilevato entro un minuto o due piuttosto che solo una volta che gli errori appaiono. Abbiamo anche aumentato la capacità di base del livello e ampliato i nostri avvisi di paging per coprire i guasti che non emergono come errori del server. Stiamo inoltre aggiungendo limiti su quanto dati un'unica fonte può presentare. Ci dispiace per l'interruzione, e per eventuali lacune che questo ha causato nei dati di errore durante la finestra.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.