Geen verstoringen

Start verstoring 22-11-2017 20:00
Einde verstoring 22-11-2017 20:00

Er zijn op dit moment geen verstoringen bekend.

Netwerkverstoring ARNIX/TDCA

Start verstoring 26-12-2016 07:57
Einde verstoring 28-12-2016 08:45

Dinsdag 26 december rond 7:57 kregen wij een melding van ons monitoringsysteem dat er mogelijk een totale verstoring is op ons platform.

Wij hebben inmiddels contact opgenomen met het datacentre (TDCA) en zij geven aan dat er een totale verstoring is op het netwerk, waardoor niet alleen wij, maar meerdere (mogelijk alle) klanten van TDCA en netwerkpartij ARNIX zijn geraakt.

Door deze verstoring is onze eigen infractructuur inclusief alle daar op draaiende virtuele machines volledig onbereikbaar. Andere services zoals onze website, email, monitoring, offsite backups, etc, draaien op een externe machines en zijn daarom wel bereikbaar.

Zodra wij meer weten melden we dit via onze besloten mailinglist en deze website.

UPDATE 26 december 9:45u

Wij hebben geconstateerd dat onze infrastructuur rond 9:25u weer bereikbaar is geworden. Nog geen afmelding ontvangen van TDCA, zodra deze komt melden we de verstoring definitief af.

UPDATE 26 december 10:25u

Onze monitoring laat zien dat de verbindingen nog niet stabiel zijn. Na 10:25u traden er opnieuw meerdere korte verstoringen op. We gaan er vanuit dat dit te maken heeft met de eerdere verstoring. Omdat we nog geen afmelding hebben gekregen van TDCA/ARNIX, verwachten we dat we mogelijk deze ochtend, dag, te maken zullen krijgen met meerdere kortere of langere verstoringen tot de oorzaak is gevonden en er een definitieve fix is. Uiteraard doen zij er alles aan om de overlast tot een minimum te beperken en de storing zo snel mogelijk te verhelpen.

Omdat we verwachten dat er deze dag meerdere korte verstoringen zullen optreden, melden we deze niet meer individueel. Pas zodra we enige zekerheid hebben over definitief herstel, of een indicatie hebben wanneer de verstoring definitief verholpen zal zijn, zullen we dit via email en website melden.

We zien dat enkel het netwerk is geraakt, al onze eigen systemen zijn volledig operationeel, alle diensten en virtuele servers draaien op de achtergrond gewoon door. Ze zijn enkel onbereikbaar vanaf het internet door deze netwerkstoring.

UPDATE 27 december 09:15u

Wij hebben gisterenavond laat terugkoppeling van TDCA gekregen dat het gaat om een wereldwijd Broccade probleem waar niet eerder dan dinsdagavond een fix voor was. Deze fix is inmiddels op 1 router toegepast.

In onze monitoring zien wij dat het netwerk na dinsdag 21:42u geen merkbare onderbrekingen meer heeft gehad.

UPDATE 28 december 08:45u

De verstoring is rond 3 uur vannacht door TDCA/ARNIX afgemeld. Oorzaak was een security bug in de firmware van hun routers, waardoor een DDoS op het netwerk van ARNIX vrij spel kreeg. De bug is door hen doormiddel van een firmware update en reboot van hun routers verholpen.

Bij deze sluiten ook wij dit incident.