Server weg =-=> NETDEV WATCHDOG: eth0: transmit timed out

[dev]

Hallo Leute,

um 22.01 war mein Server, auf dem ich gerade rumgeidelt habe, auf einmal weg.

Alle Dienste offline, anpingen konnte ich ihn noch. Ich habe mich (nach einem Hard-Reset ) per KVM eingeloggt und die Konsole hat mir das hier im 30 Sekundentakt um die Ohren gehauen:

r8169: eth0: link up
NETDEV WATCHDOG: eth0: transmit timed out
r8169: eth0: link up
NETDEV WATCHDOG: eth0: transmit timed out
r8169: eth0: link up
NETDEV WATCHDOG: eth0: transmit timed out

Die Kiste läuft nun wieder, da ich mit dieser Option gebootet habe:

append="noapic acpi=off"

Nun bin ich auf der Suche nach der Ursache und mir ist das in der messages aufgefallen:

Nov 9 22:01:37 server2 kernel: webalizer invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0
Nov 9 22:01:37 server2 kernel: webalizer invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0
Nov 9 22:01:38 server2 kernel: webalizer invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0
Nov 9 22:01:38 server2 kernel: webalizer invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0
...
...
...

Davon habe ich seit 22:01 massenhaft (apache, mysql, webalizer), wer also ein paar oom-killer braucht...

Bis jetzt kannte ich die Meldung nicht...

Nun bin ich doch ziemlich verunsichert, da für mich diese Kette aus Fehlern nicht 100% nachvollziehbar ist. Das Ding rennt nämlich seit 6 Wochen uptime ununterbrochen und ohne Probleme. Ich habe heute Mittag den smartd zur Festplattenüberwachung installiert/konfiguriert und ca. 21.30 Uhr ca. 1 GB per SCP kopiert.

Könnt Ihr mir helfen? Braucht Ihr Infos?

Danke.

PS: Den "transmit timed out"-Error gibt es wohl bei anderen auch häufiger nach CPU/Netzwerklast.

EDITa hat noch ein bisschen rumprobiert. Ohne

append="noapic acpi=off"

ist eth0 nicht mehr zum Arbeiten zu bewegen. Habe die Zeile auskommentiert und nach einem Init 6 gab es wieder bloss die ttos. Hmpppppppppppppppfffffffffffffffffffffffffffffffff

Was ist da los? Wieso geht einfach was kaputt?

 

[]MaX[]

Das ist ein Fehler im Zusammenhang mit dem Treiber der Netzwerkkarte wenn die Option

append="noapic acpi=off"

nicht helfen sollte, kannst du versuchen einen neuen Kernel installieren. Sollte das auch nicht helfen, sollte dein Hoster dir eine neue Netzwerkkarte einbauen.

Das ganze Probkem gibts auch nochmal hier zum nachlesen.

Bug 5137 - r8169 - network dies.

Der Output von /var/log/messages könnte ein Anzeichen für den Versuch einer Cross Site Scriptingattacke sein.

 

[dev]

]MaX[, danke. Heut früh um 6.01 Uhr hat es ihn wieder gerissen :/ Symptome wie oben, alles ging mit einer Menge an "invoked oom-killer" Meldungen los.

Wieder hochgefahren und in der KVM eingeloggt geblieben: Nach 5 Minuten wieder down, auf der KVM sind die "Out of memory" Meldungen nur so durchgerauscht. Ich konnte auf der Konsole nichts mehr machen, immer "Out of Memory".



Das mit der XSS musst Du mir mal erklären: Wie kann das sein?


UPDATE: So, habe noch was gefunden:

Nov 10 10:01:51 xxxx monit[3381]: cpu wait usage of 24.5% matches resource limit [cpu wait usage>20.0%]
Nov 10 10:01:55 xxxx monit[3381]: mem usage of 98.3% matches resource limit [mem usage>75.0%]

Kein Wunder, dass der Rechner nicht mehr klar kommt, wenn der Speicher voll läuft. Um 6 Uhr und um 10 Uhr hatte monit zumindest noch Zeit, das in die syslog reinzuschreiben.

Langsam entdecke ich eine Systematik, die Abstürze passen zeitlich zu einem Cronjob, der seit einer Woche immer um dieses Zeiten läuft (Webalizer Updates).

 

[dev]

Ich bin es noch einmal: Es war in der Tat der Webalizer. Ich habe den Cronjob deaktiviert und nun läuft der Rechner wieder so zuverlässig wie vorher.

Die Abstürze passten 3x auf die Minute genau auf die Webalizeraktualisierung.

Einen Vorwurf kann ich mir selbst machen: Ich hatte noch kein Logrotating für die vhosts eingerichtet. Die grösste Logdatei (von der Handvoll vhosts insgesamt) war ca. 50 MB. Dass das Parsen einer 50 MB Datei per Cronjob den Linuxkernel auf meiner Maschine (C2D, 2 GB RAM) komplett schmeisst und die Netzwerkkarte ausser Gefecht setzt, hätte ich allerdings nicht gedacht. Weil sonst ist da nicht viel los auf dem Rechner.

Cronjob -> 6x Webalizeraufruf über ein Shell-Script -> Memory vollgelaufen -> Netzwerkkarte steigt aus

Warum es danach mit der "noapic"-Bootoption funktionierte und ohne erstmal nicht kann nun nicht nicht mehr nachvollziehen. Aber an sich ist das unlogisch, wenn der Webalizer ursächlich war. Denn nun bootet der Rechner auch wieder ohne "noapic"-Bootoption