Rootserver - hohe Auslastung, schlechte Erreichbarkeit

[bernd_h_schulz]

Hallo zusammen,
habe einen 1und1 Rootserver mit folgender Konfiguration:
Parallels Plesk Panel-Version 9.2.3
Betriebssystem Linux 2.6.14.3-051207a
CPU AuthenticAMD, AMD Athlon(tm) 64 Processor 3200+
Durchschnittliche Auslastung 6.05; 3.45; 1.94

87 Domains
297 Postfächer

Seit ca. 1Woche ist der Server schlecht erreichbar, Seitenaufruf oder SSH dauert 30 sec. und mehr. Wenn ich den Server über die Konsole neustarte, geht es für ein paar Stunden wieder. top siehe Anhang.
Die Logdateien sind nach ca. 11h schon recht groß.
apache2/access_log 970KB
apache2/error_log 21KB
mail.err 4MB
mail.info 10MB
mail.warn 750KB
messages 11MB
warn 5MB

Habe erst mal ein Shellscript, was nachts die Logs löscht und den Server neustartet. Das ist natürlich nur eine Notlösung.
Wo sollte ich anfangen zu suchen?

Gruß
Bernd

 

[Lord Gurke]

Das Meiste sind Wait-IOs - also Zeit, in der bloß auf Daten von Festplatte oder Netzwerk gewartet wird.
Falls das ein Software-RAID ist, kannst du ja mal mit
cat /proc/mdstat
nachsehen, ob der gerade das RAID synchronisiert.
Bei Hardware-Controllern müsstest du das entsprechende Tool des Herstellers benutzen.

Du kannst auch das Tool iostat benutzen (ist glaube ich im Paket sysstat enthalten), um herauszufinden, ob überhaupt die Festplatten rattern.
Aufruf mit
iostat -x -m -d 1

 

[bernd_h_schulz]

Personalities : [linear] [raid0] [raid1] [faulty]
md1 : active raid1 sdb1[1]
505920 blocks [2/1] [_U]

md5 : active raid1 sdb5[1] sda5[0]
4891648 blocks [2/2] [UU]

md6 : active raid1 sda6[0]
4891648 blocks [2/1] [U_]

md7 : active raid1 sdb7[1]
65898496 blocks [2/1] [_U]

unused devices: <none>
p15200617:~ # mdadm
Usage: mdadm --help
for help
p15200617:~ # mdadm --detail /dev/md1
/dev/md1:
Version : 00.90.02
Creation Time : Thu Dec 29 07:48:32 2005
Raid Level : raid1
Array Size : 505920 (494.06 MiB 518.06 MB)
Device Size : 505920 (494.06 MiB 518.06 MB)
Raid Devices : 2
Total Devices : 1
Preferred Minor : 1
Persistence : Superblock is persistent

Update Time : Mon Jul 12 17:33:00 2010
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0

UUID : f7ab648e:c986825f:bc3dfa27:6d04a61e
Events : 0.43089623

Number Major Minor RaidDevice State
0 0 0 - removed
1 8 17 1 active sync /dev/sdb1
p15200617:~ # mdadm --detail /dev/md5
/dev/md5:
Version : 00.90.02
Creation Time : Thu Dec 29 07:48:32 2005
Raid Level : raid1
Array Size : 4891648 (4.67 GiB 5.01 GB)
Device Size : 4891648 (4.67 GiB 5.01 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 5
Persistence : Superblock is persistent

Update Time : Mon Jul 12 17:33:41 2010
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

UUID : 8fbd4808:2ff259ca:11723711:481b777e
Events : 0.34744205

Number Major Minor RaidDevice State
0 8 5 0 active sync /dev/sda5
1 8 21 1 active sync /dev/sdb5

 

[Lord Gurke]

Das "FAULTY" in der ersten Zeile würde eigentlich auf eine defekte Festplatte hindeuten.
Aber da weiter unten mal die erste, mal die zweite Platte als fehlend markiert ist, tippe ich eher auf ein nicht vernünftig gesynctes RAID.

Probiere mal aus, mit
echo 20000 > /proc/sys/dev/raid/speed_limit_min
echo 65000 > /proc/sys/dev/raid/speed_limit_max
die Geschwindigkeit der RAID-Synchronisierung etwas herunterzuregeln, damit das System nicht allzusehr ausgebremst wird.

Dann solltest du mal sehen, dass das RAID wieder synchron wird.

 

[bernd_h_schulz]

Dann solltest du mal sehen, dass das RAID wieder synchron wird.

Wie würdest Du das anstellen?
Den Server im Rescue-Modus neustarten und dann

nichtsynchronisierbares System wieder herstellen

stell sicher, dass kein prozess auf die raid Partitionen zugreift
stop das RAID Array:
mdadm --stop /dev/md0
starte die Synchronisation:
mdadm -A -U resync /dev/md0
nachschauen ob's geklappt hat
cat /proc/mdstat
dort sollte jetzt der Synchronisierungsvorgang angezeigt werden
zum Schluß stehen in eckigen Klammern zwei Us (d.h. die zwei Partitionen sind up&running) [UU]

 

[IP-Projects.de]

Witzig dass es jeder übersieht.

Klar kriegt die Festplatte viele Lese/Schreibe Operationen. Wenn man sich den TOP auszug mal anschaut, ist der Arbeitsspeicher voll ausgelastet, was zu Folge hat, dass die Daten im SWAP ausgelagert werden, das System brachial langsam wird und kaum noch reagiert.


So wie ich das sehe, hast du in dem Server gerade einmal 1024 MB Arbeitsspeicher. Prüfe, ob eine Webseite eventuell einfach nur zu viele Besucher hat, was dafür sorgt, dass dein Server einfach die benötigte Leistung nicht mehr zur Verfügung hat. In meinen Augen ist dies der offensichtlichste Grund - sieht für mich in keinster Weise nach einem Hardwaredefekt aus

Naja nicht vergessen die Sonnenbrillen abzunehmen, wenn man von drausen reinkommt

 

[dev]

sieht für mich in keinster Weise nach einem Hardwaredefekt aus

Und warum sind dann md1, md6 und md7 degraded?

Das Software-Raid sieht ganz schön kaputt aus. Von sda und sdb sind jeweils Partitionen nicht mit gesynct. Ich würde das ganz schnell reparieren, bevor die Kiste ganz wegbricht.

Unabhängig davon hast Du natürlich Recht, das OS swapt auf die Platte.

 

[danton]

Vielleicht wurde der Server zwischendurch mal hart resettet und dabei das RAID aus dem Sync gebracht.
Wenn eine etwas längere Downtime nicht zu tragisch ist, würde ich sagen: Ein Rebuild im Rescue-System ist eine gute Idee, dann kann das System sich voll aufs Rebuild konzentrieren. Wenn das wieder OK ist, sollte der TE dann nachschauen, wo der Speicherfresser herkommt.

 

[IP-Projects.de]

Ohne einen Hard reset wird man nicht mehr auf den Server verbinden können, wenn der RAM komplett überlaufen ist sowie SWAP das Limit erreicht hat.

Sicher könnte auch eine weitere Platte defekt sein, aber in erster Linie wird das Performance Problem mit der Auslastung zusammenhängen.

 

[danton]

Das meine ich ja: Wegen eines Resets der Kiste ist das RAID nicht mehr im Sync. Einen HDD-Defekt vermute ich auch weniger, weil die aktiven RAID-Teile sich auf beide HDDs verteilen und nicht alle auf einer sind.

 

[sly]

So wie ich das sehe, hast du in dem Server gerade einmal 1024 MB Arbeitsspeicher. Prüfe, ob eine Webseite eventuell einfach nur zu viele Besucher hat, was dafür sorgt, dass dein Server einfach die benötigte Leistung nicht mehr zur Verfügung hat. In meinen Augen ist dies der offensichtlichste Grund - sieht für mich in keinster Weise nach einem Hardwaredefekt aus

Das sehe ich genauso! Ich empfehle dir auch noch dein System zu optimieren (MySQL, Apache) und ggf. den Speicher auf 2048 MB aufrüsten, weil 1024 MB bei 87 Domains nicht gerade viel ist

Gruß

 

[d4f]

ggf. den Speicher auf 2048 GB aufrüsten, weil 1024 GB

Ich will auch 2TiB RAM haben

weil 1024 MB bei 87 Domains nicht gerade viel ist

Mit einem Schuss ins Blaue denke ich dass er evtl FCGI (und zuviele) am Laufen hat, die Worker- oder Prefork-Anzahl von APache zu hoch ist und auch ansonsten die RAM vergeuded wird und evtl Dienste wie Clam laufen.
87 leicht besuchte Domains sollten locker mit 1GiB Ram abdeckbar sein sofern man ein wenig an der Schraube dreht.
Upgraden ist ja leider idr bei gemieteten Rootservern nicht immer so leicht moeglich, habe aber desbezueglich keine direkte Erfahrung mit 1und1.

 

[sly]

Ich will auch 2TiB RAM haben

Wäre auf jeden fall nett... dauert aber noch ein bisschen bis wir so weit sind

87 leicht besuchte Domains sollten locker mit 1GiB Ram abdeckbar sein sofern man ein wenig an der Schraube dreht.

Ohne weitere infos kann ich auch nur meine Glaskugel fragen

Upgraden ist ja leider idr bei gemieteten Rootservern nicht immer so leicht moeglich, habe aber desbezueglich keine direkte Erfahrung mit 1und1.

Da kann mit Sicherheit der Support weiter helfen.

 

[adalbert-walter]

87 Domains mit 1GB Ram ist schon echt heavy. Wenn man sich überlegt das jeder php prozess sich wahrscheinlich 16MB genehmigen darf. Dann kommen noch die Child-Prozesse von Apache dazu. MySQL auch nicht zu verachten. Ich befürchte es wird an der Zeit für nen neuen Server

1GB is für heutige Server schon recht wenig, haben die meisten V-Server schon mehr und dort sollten nicht so viele Domains laufen

 

[bernd_h_schulz]

hier geht es weiter:

1und1 Rootserver Raid defekt

Der Server ist nicht mehr erreichbar. Laut Support sind die Festplatten nicht defekt. Der Reboot über die serielle Konsole liefert: LILO 22.3.4 boot: Loading lxser..................................... BIOS data check successful Bootdata ok (command line is auto BOOT_IMAGE=lxser ro...

serversupportforum.de