Impact:
-
Netwerkmonitor geeft uitval van servers in rack N14
-
Geen netwerkverkeer mogelijk van en naar servers in rack N14
-
Netwerkpoort N14 op mainswitch geeft sinds 08.56 uur 'excessive broadcast' vanaf rack N14. Dit kan duiden op een defecte switch, een defecte switchpoort, een defecte netwerkkaart in één van de aangesloten machines, of een loop ergens in een netwerk in rack N14.
Getroffen diensten:
Aanvang storing:
Voorgang:
-
09.55 uur
Telecity Engineer stelt vast dat er geen stroomuitval van servers is;
Herstart van netwerkswitch geeft geen storingsmelding, maar ook geen netwerkverkeer.
Toegang tot de switch op afstand is niet mogelijk, we moeten zelf naar de serverruimte om vast te stellen welke poort de storing veroorzaakt (excessive UDP verkeer).
-
10:55 uur
Onderzoek gestart naar de switch door ENTERNEXT in Telecity
-
11.30 uur
Onderzoek ter plaatse heeft uitgewezen dat de storing werd veroorzaakt door poort 3 van de switch. Het betreft hier een poort van een firewall van een klant. De poort is uitgezet, waarna het verkeer op de switch zich herstelde. Samen met de klant hebben we de oorzaak kunnen vaststellen door het wegvallen van een interne gateway in de firewall, waardoor alle machines achter de firewall het verkeer niet meer konden afleveren en een broadcast-storm veroorzaakte. Na een herstart van de firewall was de gateway hersteld. In overleg met de klant is afgesproken dat deze zou nagaan hoe het kan dat de gateway wegvalt en hoe dat in het vervolg voorkomen kan worden. De poort blijft dicht tot de klant met een verklaring komt.
Einde storing:
De broadcast limit, die op de betreffende switchpoort stond ingesteld, kon de broadcast-storm niet voorkomen. De mainswitch deed dat overigens wel, waardoor de storm beperkt bleef tot het verkeer over de switch van rack N14. |
