Ιστορικό διακοπών του Honeybadger

1. 15 Αυγούστου 2026 στις 8:48 μ.μ. UTCresolved

   Μεταξύ 19:54 και 20:07 UTC στις 15 Αυγούστου, οι αιτήσεις για την αναφορά σφαλμάτων των ΗΠΑ API (api.honeybadger.io) παρουσίασαν ένα αυξημένο ποσοστό αποτυχίας. Κατά τη διάρκεια αυτού του παραθύρου, η πλειοψηφία των αιτήσεων για την υποβολή σφαλμάτων και γεγονότων timeout ή έλαβε 5xx απαντήσεις. Browser (JavaScript) αναφορά σφαλμάτων, source map uploads, η εφαρμογή ιστού Honeybadger, ταμπλό, παρακολούθηση uptime, και η περιοχή της ΕΕ μας δεν επηρεάστηκαν. Τι συνέβη: Ξεκινώντας από τις 19:54 UTC, μια ενιαία πηγή άρχισε να υποβάλλει αναφορές λάθους περίπου 150 φορές το κανονικό της ποσοστό, με ωφέλιμο φορτίο αρκετές φορές μεγαλύτερο από το μέσο όρο. Αυτό υπερδιπλασιάστηκε ο συνολικός όγκος των δεδομένων που φθάνουν στη βαθμίδα κατάποσης μας, τα οποία κορεσμένα μέσα σε ένα λεπτό. Επειδή η κορεσμένη υπηρεσία συνέχιζε να δέχεται συνδέσεις και όχι να επιστρέφει τα λάθη της εντελώς, η αυτοψία μας και η ειδοποίησή μας — που παρακολουθούν τις απαντήσεις σε λάθη — δεν κατέγραψε γρήγορα το πρόβλημα, και η ικανότητα προστέθηκε αργότερα από ό, τι έπρεπε. Η υπηρεσία ανακτήθηκε στις 20:07 UTC μόλις τέθηκε σε λειτουργία η πρόσθετη χωρητικότητα. Οι περισσότερες επηρεαζόμενες αναφορές ξαναδοκιμάστηκαν με επιτυχία από τις βιβλιοθήκες των πελατών μας μόλις το API ανέκαμψε, έτσι η μεγάλη πλειοψηφία των δεδομένων που υποβλήθηκαν κατά τη διάρκεια του παραθύρου τελικά ελήφθη. Αναφορές που στάλθηκαν από βιβλιοθήκες χωρίς να ξαναδοκιμάσουν τη λογική δεν ελήφθησαν και δεν μπορούν να ανακτηθούν. Αυτό που έχουμε κάνει: η κατάποση μας τώρα κλιμακώνεται σε λανθάνουσα απόκριση εκτός από τα ποσοστά σφάλματος, έτσι αυτό το είδος κορεσμού ανιχνεύεται μέσα σε ένα ή δύο λεπτά και όχι μόνο μία φορά τα λάθη εμφανίζονται. Έχουμε επίσης αυξήσει την ικανότητα βάσης της βαθμίδας και διευρύνουμε τις ειδοποιήσεις μας για την κάλυψη αποτυχιών που δεν εμφανίζονται ως λάθη του διακομιστή. Προσθέτουμε επιπλέον όρια στο πόσα δεδομένα μπορεί να υποβάλει μια μοναδική πηγή. Λυπούμαστε για τη διακοπή, και για τυχόν κενά που προκάλεσε αυτό στα δεδομένα λάθους σας κατά τη διάρκεια του παραθύρου.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 8 Ιουλίου 2026 στις 11:48 π.μ. UTCresolved

   Μεταξύ 06:22 και 08:23 UTC στις 8 Ιουλίου, αιτήματα για την αναφορά λάθους των ΗΠΑ API (api.honeybadger.io) παρουσίασαν ένα πολύ αυξημένο ποσοστό αποτυχίας. Κατά τη διάρκεια αυτού του παραθύρου, η πλειοψηφία των αιτήσεων για την υποβολή σφαλμάτων, γεγονότων, και check-ins έλαβε 5xx απαντήσεις ή timeout. Αναφορές σφάλματος που εστάλησαν από βιβλιοθήκες πελατών χωρίς να επαναπροσληφθεί η λογική κατά τη διάρκεια αυτής της περιόδου δεν ελήφθησαν και δεν μπορούν να ανακτηθούν. Η διαδικτυακή εφαρμογή Honeybadger, τα ταμπλό, η παρακολούθηση του χρόνου up και η περιοχή της ΕΕ δεν επηρεάστηκαν. Τι συνέβη: Ξεκινώντας στις 06:18 UTC, αρχίσαμε να λαμβάνουμε αναφορές λάθους σε περίπου τριπλασιασμένο συνολικό όγκο API μας. Η βαθμίδα εξυπηρέτησης που απορροφά αυτή την κίνηση ήταν στο επίπεδο της διανυκτερεύουσας δυναμικότητας και έγινε κορεσμένη. Η αυτοψία μας ανταποκρίθηκε, αλλά οι μετρήσεις στις οποίες βασιζόταν σημαντικά υπομέτρησε την αποτυχημένη κίνηση, έτσι η χωρητικότητα προστέθηκε πολύ αργά — η πλήρης ανάκτηση ήρθε στις 08:23 UTC όταν η κλιμάκωση πρόφθασε και απορρόφησε το φορτίο. Αναμειγνύοντας το πρόβλημα, οι συναγερμοί του PagerDuty δεν απολύθηκαν για να ξυπνήσουν έναν άνθρωπο λόγω μιας παραμορφώσεως. Αυτό που έχουμε κάνει: Έχουμε καθορίσει την υποκείμενη κλιμάκωση αδυναμία: API ικανότητα τώρα επίσης κλίμακες άμεσα στα ποσοστά σφάλματος φορτίου-ισορροπητή (προηγουμένως έχουμε κλιμακωθεί μόνο σε ποσοστά ζήτησης, και ότι η κλιμάκωση δεν ανταποκρίνεται αρκετά γρήγορα), και έχουμε διπλασιάσει τη μέγιστη χωρητικότητα της βαθμίδας κατάποσης. Οι αλλαγές αυτές έχουν ήδη αναπτυχθεί τόσο στις περιφέρειες των \"ΠΑ όσο και στην ΕΕ. Επίσης αξιολογούμε την προσθήκη προσαρμοστικού συντελεστή ανά κλειδί που περιορίζει την υπηρεσία κατάποσης. Λυπούμαστε για τη διακοπή, και για τυχόν κενά που προκάλεσε αυτό στα δεδομένα λάθους σας κατά τη διάρκεια του παραθύρου.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 12 Μαρτίου 2026 στις 7:27 μ.μ. UTCresolved

   We had a backlog in our notifications queue that prevented timely delivery of alerts to channels such as Email, Slack, etc. The backlog has been processed as of 19:20 UTC. Our autoscaling rules for this service had a monitoring gap that prevented a scale-out to maintain a low latency on the queue. This monitoring gap has been resolved.

1. 14 Ιανουαρίου 2026 στις 8:40 μ.μ. UTCidentified

   A recent deploy has resulted in our rejecting some check-in API requests. We are in the process of deploying a fix.

2. 14 Ιανουαρίου 2026 στις 8:48 μ.μ. UTCresolved

   This incident has been resolved.

1. 22 Οκτωβρίου 2025 στις 7:46 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

2. 22 Οκτωβρίου 2025 στις 8:15 μ.μ. UTCresolved

   This incident has been resolved.

1. 22 Οκτωβρίου 2025 στις 1:09 μ.μ. UTCidentified

   API ingestion of errors has been interrupted. We are deploying a fix.

2. 22 Οκτωβρίου 2025 στις 1:11 μ.μ. UTCmonitoring

   The US API has been restored, and the EU API restoration is in process.

3. 22 Οκτωβρίου 2025 στις 1:16 μ.μ. UTCresolved

   The EU API has been restored.

1. 20 Οκτωβρίου 2025 στις 1:44 μ.μ. UTCidentified

   Our error processing pipeline has been impacted by the AWS outage earlier this morning. Errors are being processed, but the end-to-end latency is much higher than normal. We are working to restore the processing to full capacity.

2. 20 Οκτωβρίου 2025 στις 5:55 μ.μ. UTCidentified

   We're continuing to monitor the AWS outage. Errors are being processed, but may be delayed. Uptime checks are also delayed, so you may notice lag with uptime notifications and status page updates.

3. 20 Οκτωβρίου 2025 στις 7:58 μ.μ. UTCmonitoring

   Processing has been restored and all systems are normal. We'll continue to monitor as AWS continues to restore service. Thanks!

4. 20 Οκτωβρίου 2025 στις 7:58 μ.μ. UTCresolved

   This incident has been resolved.

1. 20 Οκτωβρίου 2025 στις 1:36 μ.μ. UTCresolved

   Our systems were affected by the DynamoDB outage in AWS' us-east-1 region. Impacts included not being able to log use the web app, uptime checks not being executed on time, and check-ins being falsely reported as missing. We are evaluating what steps we can take to mitigate these kinds of impacts from this kind of outage in the future. Additionally, our status page was not updated in a timely manner due to our not having configured various AWS services as dependent components of our status page. We have fixed that issue, so future AWS outages will result in our status page automatically being updated.

1. 12 Φεβρουαρίου 2025 στις 1:45 μ.μ. UTCresolved

   We had an interruption in processing of check-in alerts and in-app stats from about 12:30 to about 13:30 UTC. This may have resulted in a failure or a delay in reporting check-ins that went missing during that period.

1. 22 Οκτωβρίου 2024 στις 1:35 μ.μ. UTCmonitoring

   We have identified and corrected an issue in our data processing pipeline that may have caused delays for some customers. No data has been lost and the system should be caught up shortly.

2. 22 Οκτωβρίου 2024 στις 3:30 μ.μ. UTCresolved

   The backlog has been processed and all systems are running normally.

1. 23 Σεπτεμβρίου 2024 στις 10:37 π.μ. UTCinvestigating

   We are looking into the cause of slowness and timeouts with the web app.

2. 23 Σεπτεμβρίου 2024 στις 11:48 π.μ. UTCmonitoring

   We have identified the cause of the slowdown and performance is back to normal.

3. 23 Σεπτεμβρίου 2024 στις 11:57 π.μ. UTCresolved

   This incident has been resolved.

1. 24 Ιουλίου 2024 στις 11:42 μ.μ. UTCidentified

   We have identified an issue with Insights event ingestion backlog. We are working on a fix.

2. 25 Ιουλίου 2024 στις 1:55 π.μ. UTCmonitoring

   We have successfully pushed a fix and are waiting for the backlog to be processed. I also want to give a reminder that this only affects Insights events; error processing was unaffected.

3. 25 Ιουλίου 2024 στις 3:06 π.μ. UTCresolved

   The backlog has been fully processed, so all Insights events should be ingested and available.

1. 12 Φεβρουαρίου 2024 στις 8:22 μ.μ. UTCinvestigating

   We are seeing an increased backlog in our check-in processing, which is causing false alarms to be reported. We are investigating the cause of the backlog.

2. 12 Φεβρουαρίου 2024 στις 8:39 μ.μ. UTCresolved

   We discovered and addressed a configuration issue that caused the delay in processing. Processing has returned to normal.

1. 6 Φεβρουαρίου 2024 στις 8:59 μ.μ. UTCinvestigating

   We are currently experiencing elevated response times and timeouts from our web application.

2. 6 Φεβρουαρίου 2024 στις 9:02 μ.μ. UTCinvestigating

   We are continuing to investigate this issue.

3. 6 Φεβρουαρίου 2024 στις 9:42 μ.μ. UTCidentified

   We've identified an issue with aggregate database queries and are working on a fix.

4. 6 Φεβρουαρίου 2024 στις 11:03 μ.μ. UTCmonitoring

   We've resolved an issue with query contention, and web application service has been restored. Our API pipeline was unaffected by this incident. Some charts on the reports tab may be outdated until we update project counts. We'll continue to monitor the situation. Sorry for the inconvenience!

5. 6 Φεβρουαρίου 2024 στις 11:19 μ.μ. UTCresolved

   This incident has been resolved.

1. 17 Ιανουαρίου 2024 στις 7:19 μ.μ. UTCidentified

   We are working on restoring service

2. 17 Ιανουαρίου 2024 στις 7:21 μ.μ. UTCresolved

   This incident has been resolved.

1. 10 Νοεμβρίου 2023 στις 7:44 μ.μ. UTCresolved

   We discovered this morning that our Logplex pipeline, which handles Heroku platform errors, had an interruption in processing, which caused platform errors not to be recorded. This has been corrected, the backlog is being processed, and additional monitoring has been added to avoid this issue in the future.

1. 13 Ιουνίου 2023 στις 6:59 μ.μ. UTCidentified

   Issues with AWS Lambda are causing our uptime check reports to be delayed. Reports are queued up and will be delivered as AWS services recover.

2. 13 Ιουνίου 2023 στις 7:34 μ.μ. UTCidentified

   Search indexing and notice timeline charts are also impacted by the failures with Lamba. We're continuing to queue updates for processing once Lambda resumes normal operations.

3. 13 Ιουνίου 2023 στις 9:37 μ.μ. UTCresolved

   Lambda is back in business, and the backlog of events triggered during the outage is being processed.

1. 25 Μαρτίου 2023 στις 1:06 π.μ. UTCresolved

   Starting around 3:30pm PST, we had an incident where an unhealthy API server was in rotation in our load balancer. During that time requests routed to that server responded with a 502 which could have resulted in the clients dropping notices. At around 5:30pm PST we removed the unhealthy server from rotation. 7:22pm PST edit: Reworded message to describe that notices are not queued on the client, but dropped when the server responds in an error state

1. 24 Μαρτίου 2023 στις 8:05 π.μ. UTCinvestigating

   We currently are having issues processing our notice backlog. We are looking into the issue.

2. 24 Μαρτίου 2023 στις 8:40 π.μ. UTCidentified

   We have identified the issue and are working towards clearing the backlog.

3. 24 Μαρτίου 2023 στις 9:01 π.μ. UTCresolved

   We identified that our workers had an issue deploying. We deployed a fix and upped our capacity to deal with the current backlog. Everything is back to normal now. Turns out this issue was related GitHub rotating their public RSA key: https://github.blog/2023-03-23-we-updated-our-rsa-ssh-host-key/

1. 9 Μαρτίου 2023 στις 9:46 π.μ. UTCresolved

   We had an incident (from 1:00 to 1:27 PST) where our apps were unresponsive. They have since recovered.