51 Binary Lane incidents · giugno 2018 — official updates, affected components, duration and resolution details.
Stiamo attualmente indagando su questo problema.
Il problema è stato identificato e si sta attuando una correzione.
Una soluzione è stata implementata e stiamo monitorando i risultati.
Questo incidente è stato risolto.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Stiamo attualmente indagando su questo problema.
BinaryLane sta rispondendo a un attacco denial-of-service su larga scala che punta a tutto il nostro sistema autonomo. L'attacco è stato abbastanza significativo da influenzare il nostro primario a monte fornitore, che ha dovuto rilasciare i nostri porti più volte per proteggere la loro rete più ampia — più recentemente perché l'attacco ha ripreso ogni volta che siamo stati re-integrati. Siamo al momento annunciando il traffico attraverso il nostro secondario a monte, che sta mantenendo la piattaforma raggiungibile ma con una ridotta produttività e una maggiore latenza per il traffico al di fuori di Sydney, dove L'impronta del fornitore secondario è concentrata. Abbiamo un incontro alle ore 16:00 AEST con il nostro primario a monte per concordare un percorso sostenibile in avanti, e in parallelo stiamo lavorando con un altro vettore australiano (con il quale abbiamo connettività diretta in tutti i nostri datacentri) per portare capacità aggiuntive online per la mitigazione. I dati del cliente non sono a rischio — questo è un attacco a livello di rete, non un'intrusione. Posteremo un ulteriore aggiornamento immediatamente dopo la riunione delle 16:00. Grazie per la pazienza.
Abbiamo ora incontrato il nostro primario a monte e abbiamo concordato un piano per restituire la stabilità alla rete, e questo piano viene implementato ora. In parallelo, nell'ultima ora abbiamo ha continuato a lavorare con fornitori aggiuntivi per portare online ulteriori capacità per la mitigazione DDoS in corso. pubblicheremo il prossimo aggiornamento alle 18:30 AEST. Grazie per la vostra continua pazienza.
Aggiornamento — servizi generalmente restaurati, monitoraggio in corso Stiamo continuando a mitigare ciò che rimane il più grande attacco DDoS che abbiamo osservato. Il nostro upstream primario ha implementato politiche locali che stanno riducendo materialmente l'impatto, e abbiamo impegnato diversi partner aggiuntivi per assorbire il traffico — alcuni non sono stati in grado di gestire il volume, ma altri stanno ora contribuendo con successo la capacità. Servizi ora generalmente disponibile, e continueremo a seguire attentamente le prossime 12 ore. Posteremo un ulteriore aggiornamento se l'immagine cambia materialmente, o una volta completata la finestra di monitoraggio. Grazie per la vostra pazienza fino a oggi.
Abbiamo continuato a fare progressi costanti ripristinando la connettività diretta in ciascuna delle nostre POP della città nel corso del fine settimana, e la maggior parte delle nostre sedi sono ora tornati al normale servizio diretto. Perth e Adelaide sono i due siti rimanenti che vengono trasportati via Sydney mentre percorsi a monte ci sono riportati in linea. I clienti in quelle due città continueranno a vedere la latenza leggermente elevata sulle destinazioni internazionali mentre il backhaul è in atto, ma i servizi rimangono disponibili. Ci aspettiamo di tornare Perth e Adelaide al servizio diretto più tardi oggi. In tutto il fine settimana la rete è rimasta costante — una volta raggiunta la configurazione stabile di venerdì sera, non abbiamo osservato ulteriori eventi di customer-affecting, e la capacità complessiva si è tenuta in tutto. Abbiamo monitorato da vicino tutto il tempo e non abbiamo avuto bisogno di prendere ulteriore azione al di là del lavoro di recupero già in corso. Lasciamo questo incidente aperto fino a quando ogni POP è stata restituita alla sua normale configurazione di servizio diretto, piuttosto che chiuderlo una volta usabili i servizi, perché vogliamo che il nostro record pubblico di questo evento rifletta un restauro completo piuttosto che parziale. Continueremo a continuare post aggiornamenti come i siti rimanenti tornano online, e un riepilogo finale di chiusura una volta che tutto è completamente restaurato. Grazie ancora per la vostra pazienza attraverso la rottura di Venerdì e attraverso il fine settimana. Ci scusiamo sinceramente per l'impatto, e apprezziamo la comprensione mostrata dai clienti mentre abbiamo lavorato attraverso l'incidente.
Adelaide e Perth sono stati restituiti alla connettività di servizio diretto alle 18:24 AEST di ieri sera (lunedì 18 maggio), completando il restauro di tutte le POP della città ai loro normali percorsi a monte. La rete è ora stabile e operativa nella sua configurazione normale in tutte le posizioni. Il nostro lavoro si sposta ora dal restauro attivo all'indagine e alla bonifica. Stiamo continuando a lavorare con i nostri fornitori a monte per capire il quadro completo dell'evento di venerdì e per identificare i cambiamenti strutturali che ridurranno la nostra esposizione a un modello di attacco simile in futuro. Una parte dell'indagine tecnica viene gestita in collaborazione con la Direzione Segnali australiana in un caso aperto. Una revisione completa post-incidente sarà pubblicata una volta che la fase di indagine è completa e l'impegno di ASD è in un punto in cui possiamo condividere il quadro tecnico senza comprometterlo. Avremo notifica agli abbonati di status-page quando è disponibile, in un periodo di tempo di settimane piuttosto che giorni. Per ribadire gli aggiornamenti precedenti: si trattava di un evento denial-of-service di livello di rete che interessava la raggiungibilità del nostro spazio IP pubblico. Non era una violazione della sicurezza o un'intrusione, nessun sistema clienti è stato accessibile, e nessun dato del cliente è stato coinvolto in alcun modo. I carichi di lavoro del cliente hanno continuato a funzionare normalmente durante tutto. Lasceremo questo incidente aperto in uno stato di monitoraggio fino alla pubblicazione della recensione post-incidente. Grazie per la vostra pazienza durante tutto, e per il feedback costruttivo ricevuto dai clienti durante il fine settimana.
Questo aggiornamento chiude formalmente l'incidente di venerdì 15 maggio. Per riassumere l'evento: dalle ore 12.30 AEST la nostra rete è stata mirata da un attacco denial-of-service volumetrico su larga scala diretto uniformemente in tutto il nostro spazio IP pubblico — il più grande che abbiamo osservato. Il volume ha superato la capacità di transito internazionale del nostro upstream primario, che ha abbandonato la nostra connettività più volte per proteggere la loro rete più ampia. I servizi sono stati mantenuti raggiungibili tramite percorsi alternativi nel pomeriggio, con disponibilità generale ripristinata entro le ore 19:12 quella sera e tutte le POP della città sono tornate alla loro normale configurazione di servizio diretto entro lunedì 18 maggio. Come dichiarato in tutto: questo è stato un attacco a livello di rete sulla raggiungibilità. Non è stata una violazione o un'intrusione, non è stato possibile accedere ai sistemi dei clienti e nessun dato dei clienti è stato coinvolto. Il nostro impegno con la Direzione Segnali Australiana su questo incidente si è concluso dal nostro lato, con tutti i materiali richiesti forniti o contabilizzati. Ringraziamo nuovamente i nostri clienti per la loro pazienza e il feedback costruttivo che abbiamo ricevuto. Questo incidente è ora risolto.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
This host node has encountered an irrecoverable hardware fault. We will begin restoring affected servers from latest backup (if purchased) or fresh OS installation shortly.
Restore/reinstall of affected servers is underway.
This incident has been resolved.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
A host outage occurred on sydcompute78. VPS are being migrated to other hosts and rebooted as necessary. Investigations are ongoing.
This incident has been resolved.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
A host outage occurred on sydcompute56 and sydcompute57. VPS are being migrated to other hosts and rebooted as necessary. Investigations are ongoing.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
We are currently investigating this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Cloud servers on host node sydcompute55 lost network connectivity due to a network card failure. Service was restored at approx 21:10 UTC
