xa-media.com | Support Forum

[chris]

zurzeit ist die leitung zu unseren servern unterbrochen.

wir suchen noch die ursache

bitte um verständnis

[chris]

so wies aussieht gibts irgendwo nen gröberen ausfall, bleibt nur abwarten

[chris]

scheinbar ist ein router defekt, hardware oder software.
Das problem sollte heute noch gelöst werden.

das ganze liegt nicht in unserem einflußbereich, bitte um verständnis

[chris]

sollte alles wieder erreichbar sein. danke für die geduld

[chris]

kleiner nachtrag:

Unterbrechung der Anbindung am 28.1.2006


Problembeschreibung:

Am Samstag dem 28.1.2006 um 19:13 Uhr meldete unser Monitoring den
Verlust von Paketen. Kurz darauf brachen die BGP Session zu TeliaSonera
und unserem Backup Transit zusammen. Unser Netz war damit nur noch über
unsere DeCix Leitung erreichbar. Zeitgleich setzten Layer-2 Funktionen
unseres Routers aus, dies führte dazu, dass einzelne Netzabschnitte
nicht mehr durchgänging im lokalen Netz erreichbar waren.

Massnahmen zur Problembeseitigung:

Unsere erste Vermutung war ein Soft- oder Hardware Fehler, aus diesem
Grunde haben wir zunächst versucht den Router zu rebooten. Dies gelang
nach ca. 50 Minuten, das Problem bestand danach noch immer. Also mussten
wir von einem ernsthaften Problem mit der Hardware befürchten und
machten uns umgehend auf den Weg nach Frankfurt. Dort steht für solche
Fälle ein 2. Router bereit.

Vor Ort konnten wir dann feststellen, dass der Prozess der für das IP
Routing zuständig ist die CPU zu 90% auslastete. Nach kurzer Suche
konnte der Verursacher vom Netz genommen werden und das Routing
funktionierte wieder störungsfrei.


Problemursache:

Schuld an der Überlastung war ein Windows PC der sich auf Grund einer
deaktivierten Firewall mit dem Wurm W32.SQLExp.Worm infiziert hatte.

http://www.bsi.de/av/vb/sqlexp.htm

Dieser Wurm sendet ununterbrochen UDP Pakete an willkürliche Adressen
auf der Suche nach ebenfalls verwundbaren Systemen. In diesem Fall war
das Aufkommen an unterschiedlichen Ziel IPs so gross, dass der Router
mit der Verarbeitung überfordert war.

Beim Aufbau jeder ausgehenden Verbindung muss der Router in einer
Tabelle von ca. 170.000 Prefixen die richtige Route auswählen, was im
normalen Betrieb auch kein Problem ist. Die durchschnittliche Belastung
durch den IP Prozess liegt bei ca. 0.5%.

bi4k#show processes cpu
Process Name 5Sec(%) 1Min(%) 5Min(%) 15Min(%) Runtime(ms)
[...]
IP 0.29 0.35 0.38 0.33 2890799

Durch die Verbindungsversuche des Wurms zu 25.000 verschiedenen IPs pro
Sekunde war unser Router völlig überlastet.

paeffgen:~# tcpdump -n -r tcpdump.raw ip and src host x.y.z.216 | grep
23:58:33 | awk '{print $5}' | sort -n | uniq | wc -l
reading from file tcpdump.raw, link-type EN10MB (Ethernet)
25602

Bevor jetzt Befürchtungen aufkommen, dass unser Router grundsätzlich
D-DOS Angriffen nicht gewachsen sei: Der Router hat bisher einigen DOS
Angriffen standgehalten, limitierender Faktor war wenn die Leitung und
nicht die Pakete pro Sekunde.

Massnahmen um derartige Störungen in der Zukunft zu verhindern:

Wir werden unser Netz nun so auslegen, dass ein Fernzugriff auf den
Router auch dann möglich ist, wenn das gesamte Netz nicht mehr
erreichbar ist. Grundsätzlich können wir derartige Zwischenfälle die aus
unserem Netz (also von unseren eigenen Kunden stammen) nicht verhindern,
jedoch können wir so deutlich schneller reagieren.