Honeybadger kesinti geçmişi

1. 15 Ağustos 2026 20:48 UTCresolved

   15 Ağustos'ta 19:54 ve 20:07 UTC arasında ABD hata raporlama API (api.honeybadger.io) yüksek bir başarısızlık oranı yaşadı. Bu pencere sırasında, hataları ve olayları zamanında sunmak veya 5xx yanıt almak için isteklerin çoğu. Tarayıcı (JavaScript) hata raporlama, kaynak harita yüklemeleri, Honeybadger web uygulaması, panolar, zaman izleme ve AB bölgemizden etkilenmedi. Ne oldu: 19:54 UTC'de başlayan tek bir kaynak, ortalamadan birkaç kat daha büyük para yükleriyle yaklaşık 150 kez hata raporlarını göndermeye başladı. Bu, bir dakika içinde doygun olan ingestion tier'imize gelen toplam verileri ikiye katladı. Çünkü doygun hizmeti geri dönüş hataları yerine bağlantıları kabul etti, otoskaling ve uyarılama - hata yanıtları için izlemek - sorunu çabucak kaydetmedi ve kapasite daha sonra olması gerektiğinden daha geç eklendi. Servis 20:07 UTC'de bir kez daha ek kapasite online geldi. Etkilenen raporların çoğu müşteri kütüphaneleri tarafından bir kez API'nin kurtarıldığı bir kez başarıyla geri alındı, bu nedenle pencere sırasında sunulan verilerin büyük çoğunluğu nihayetinde alındı. Yeniden deneme mantığı olmayan kütüphaneler tarafından gönderilen raporlar alınmadı ve kurtarılamaz. Ne yaptık: ingestion tier şimdi hata oranlarına ek olarak geç saatlerde yanıt ölçekleri üzerinde ölçeklenir, bu yüzden bu tür bir saturasyon sadece bir kez hata göründüğünden ziyade bir dakika içinde tespit edilir. Ayrıca tier'in temel kapasitesini yükselttik ve sunucu hataları olarak yüzey olmayan hataları örtme uyarılarımızı genişlettik. Ayrıca tek bir kaynağın ne kadar veri sunabileceği konusunda sınırları ekliyoruz. Bu kesinti için üzgünüz ve pencere sırasında hata verilerinize neden olan herhangi bir boşluk için.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 8 Temmuz 2026 11:48 UTCresolved

   8 Temmuz'da 06:22 ve 08:23 UTC arasında ABD hata raporlama API (api.honeybadger.io) son derece yüksek bir başarısızlık oranı yaşadı. Bu pencerede, hataları sunmak için taleplerin çoğu, olaylar ve check-ins 5xx yanıt aldı veya zamanlandı. Bu dönemde müşteri kütüphaneleri tarafından gönderilen hata raporları alınmadı ve kurtarılamazdı. Honeybadger web uygulaması, panolar, zaman izleme ve AB bölgemiz etkilenmedi. Ne oldu: 06:18 UTC'de başlayan, normal toplam API hacmimizi yaklaşık üç numarada hata raporları almaya başladık. Bu trafiği en çok kullanan hizmet bir gecede kapasite seviyesindeydi ve Doymamış oldu. Otoscaling cevap verdi, ancak ölçümler başarısız trafiğin altında önemli ölçüde güvenilirdi, bu yüzden kapasite çok yavaş eklendi - tam iyileşme yakalandı ve yükü absorbe ettiğinde 08:23 UTC'de geldi. Problemi yoğunlaştırmak, PagerDuty uyarıları yanlış yapılandırma nedeniyle bir insanı uyandırmak için kovulmadı. Ne yaptık: Altta yatan zayıflığı düzelttik: API kapasitesi şimdi aynı zamanda yük-balancer hata oranlarında doğrudan ölçekleniyor (muhtemelen sadece istek oranlarında ölçeklendik ve bu ölçekleme yeterince hızlı yanıt vermiyoruz), ve ingestion tier maksimum kapasitesini iki katına çıkardık. Bu değişiklikler zaten hem ABD hem de AB bölgelerine dağıtılıyor. Ayrıca ingestion servisine limitli per-key oranı eklemeyi de değerlendiriyoruz. Bu kesinti için üzgünüz ve pencere sırasında hata verilerinize neden olan herhangi bir boşluk için.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 12 Mart 2026 19:27 UTCresolved

   We had a backlog in our notifications queue that prevented timely delivery of alerts to channels such as Email, Slack, etc. The backlog has been processed as of 19:20 UTC. Our autoscaling rules for this service had a monitoring gap that prevented a scale-out to maintain a low latency on the queue. This monitoring gap has been resolved.

1. 14 Ocak 2026 20:40 UTCidentified

   A recent deploy has resulted in our rejecting some check-in API requests. We are in the process of deploying a fix.

2. 14 Ocak 2026 20:48 UTCresolved

   This incident has been resolved.

1. 22 Ekim 2025 19:46 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 22 Ekim 2025 20:15 UTCresolved

   This incident has been resolved.

1. 22 Ekim 2025 13:09 UTCidentified

   API ingestion of errors has been interrupted. We are deploying a fix.

2. 22 Ekim 2025 13:11 UTCmonitoring

   The US API has been restored, and the EU API restoration is in process.

3. 22 Ekim 2025 13:16 UTCresolved

   The EU API has been restored.

1. 20 Ekim 2025 13:44 UTCidentified

   Our error processing pipeline has been impacted by the AWS outage earlier this morning. Errors are being processed, but the end-to-end latency is much higher than normal. We are working to restore the processing to full capacity.

2. 20 Ekim 2025 17:55 UTCidentified

   We're continuing to monitor the AWS outage. Errors are being processed, but may be delayed. Uptime checks are also delayed, so you may notice lag with uptime notifications and status page updates.

3. 20 Ekim 2025 19:58 UTCmonitoring

   Processing has been restored and all systems are normal. We'll continue to monitor as AWS continues to restore service. Thanks!

4. 20 Ekim 2025 19:58 UTCresolved

   This incident has been resolved.

1. 20 Ekim 2025 13:36 UTCresolved

   Our systems were affected by the DynamoDB outage in AWS' us-east-1 region. Impacts included not being able to log use the web app, uptime checks not being executed on time, and check-ins being falsely reported as missing. We are evaluating what steps we can take to mitigate these kinds of impacts from this kind of outage in the future. Additionally, our status page was not updated in a timely manner due to our not having configured various AWS services as dependent components of our status page. We have fixed that issue, so future AWS outages will result in our status page automatically being updated.

1. 12 Şubat 2025 13:45 UTCresolved

   We had an interruption in processing of check-in alerts and in-app stats from about 12:30 to about 13:30 UTC. This may have resulted in a failure or a delay in reporting check-ins that went missing during that period.

1. 22 Ekim 2024 13:35 UTCmonitoring

   We have identified and corrected an issue in our data processing pipeline that may have caused delays for some customers. No data has been lost and the system should be caught up shortly.

2. 22 Ekim 2024 15:30 UTCresolved

   The backlog has been processed and all systems are running normally.

1. 23 Eylül 2024 10:37 UTCinvestigating

   We are looking into the cause of slowness and timeouts with the web app.

2. 23 Eylül 2024 11:48 UTCmonitoring

   We have identified the cause of the slowdown and performance is back to normal.

3. 23 Eylül 2024 11:57 UTCresolved

   This incident has been resolved.

1. 24 Temmuz 2024 23:42 UTCidentified

   We have identified an issue with Insights event ingestion backlog. We are working on a fix.

2. 25 Temmuz 2024 01:55 UTCmonitoring

   We have successfully pushed a fix and are waiting for the backlog to be processed. I also want to give a reminder that this only affects Insights events; error processing was unaffected.

3. 25 Temmuz 2024 03:06 UTCresolved

   The backlog has been fully processed, so all Insights events should be ingested and available.

1. 12 Şubat 2024 20:22 UTCinvestigating

   We are seeing an increased backlog in our check-in processing, which is causing false alarms to be reported. We are investigating the cause of the backlog.

2. 12 Şubat 2024 20:39 UTCresolved

   We discovered and addressed a configuration issue that caused the delay in processing. Processing has returned to normal.

1. 6 Şubat 2024 20:59 UTCinvestigating

   We are currently experiencing elevated response times and timeouts from our web application.

2. 6 Şubat 2024 21:02 UTCinvestigating

   We are continuing to investigate this issue.

3. 6 Şubat 2024 21:42 UTCidentified

   We've identified an issue with aggregate database queries and are working on a fix.

4. 6 Şubat 2024 23:03 UTCmonitoring

   We've resolved an issue with query contention, and web application service has been restored. Our API pipeline was unaffected by this incident. Some charts on the reports tab may be outdated until we update project counts. We'll continue to monitor the situation. Sorry for the inconvenience!

5. 6 Şubat 2024 23:19 UTCresolved

   This incident has been resolved.

1. 17 Ocak 2024 19:19 UTCidentified

   We are working on restoring service

2. 17 Ocak 2024 19:21 UTCresolved

   This incident has been resolved.

1. 10 Kasım 2023 19:44 UTCresolved

   We discovered this morning that our Logplex pipeline, which handles Heroku platform errors, had an interruption in processing, which caused platform errors not to be recorded. This has been corrected, the backlog is being processed, and additional monitoring has been added to avoid this issue in the future.

1. 13 Haziran 2023 18:59 UTCidentified

   Issues with AWS Lambda are causing our uptime check reports to be delayed. Reports are queued up and will be delivered as AWS services recover.

2. 13 Haziran 2023 19:34 UTCidentified

   Search indexing and notice timeline charts are also impacted by the failures with Lamba. We're continuing to queue updates for processing once Lambda resumes normal operations.

3. 13 Haziran 2023 21:37 UTCresolved

   Lambda is back in business, and the backlog of events triggered during the outage is being processed.

1. 25 Mart 2023 01:06 UTCresolved

   Starting around 3:30pm PST, we had an incident where an unhealthy API server was in rotation in our load balancer. During that time requests routed to that server responded with a 502 which could have resulted in the clients dropping notices. At around 5:30pm PST we removed the unhealthy server from rotation. 7:22pm PST edit: Reworded message to describe that notices are not queued on the client, but dropped when the server responds in an error state

1. 24 Mart 2023 08:05 UTCinvestigating

   We currently are having issues processing our notice backlog. We are looking into the issue.

2. 24 Mart 2023 08:40 UTCidentified

   We have identified the issue and are working towards clearing the backlog.

3. 24 Mart 2023 09:01 UTCresolved

   We identified that our workers had an issue deploying. We deployed a fix and upped our capacity to deal with the current backlog. Everything is back to normal now. Turns out this issue was related GitHub rotating their public RSA key: https://github.blog/2023-03-23-we-updated-our-rsa-ssh-host-key/

1. 9 Mart 2023 09:46 UTCresolved

   We had an incident (from 1:00 to 1:27 PST) where our apps were unresponsive. They have since recovered.