Xen-Server: Hohe iowait, kann Ursache finden

[dev]

Xen-Server: Hohe iowait, kann keine Ursache finden?

Hallo,

mein Monitoring sagt mir, dass einer meiner Vserver (Debian Lenny) nicht erreichbar ist. Ist er aber, allerdings nur mit Megaverzögerung.

Auf der Kiste ist ein iowait von cd. 75% und nichts geht mehr. In den Logs gibt es bis auf das folgende nichts auffälliges:

dmesg

[529950.696416] INFO: task munin-node:19650 blocked for more than 120 seconds.
[529950.696447] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[529950.696453] munin-node    D ffff8800019f4200     0 19650   1445
[529950.696462]  ffff8800037cba18 0000000000000286 0000000300000000 ffff88000aa728d8
[529950.696470]  ffff88000155d100 ffff88000155c400 ffff88000155d380 0000000000000003
[529950.696478]  ffff880000000005 0000000000189ea7 ffff88000c214a38 000000000000000f
[529950.696485] Call Trace:
[529950.696519]  [<ffffffffa004a5a1>] :jbd:journal_stop+0x1e7/0x1f3
[529950.696527]  [<ffffffff80243f56>] getnstimeofday+0x39/0x98
[529950.696533]  [<ffffffff802ac8b6>] sync_buffer+0x0/0x3f
[529950.696539]  [<ffffffff80434f5f>] io_schedule+0x5c/0x9e
[529950.696544]  [<ffffffff802ac8f1>] sync_buffer+0x3b/0x3f
[529950.696548]  [<ffffffff804350d2>] __wait_on_bit_lock+0x36/0x66
[529950.696553]  [<ffffffff802ac8b6>] sync_buffer+0x0/0x3f
[529950.696558]  [<ffffffff8043516e>] out_of_line_wait_on_bit_lock+0x6c/0x78
[529950.696564]  [<ffffffff8023f6ef>] wake_bit_function+0x0/0x23
[529950.696576]  [<ffffffffa004a600>] :jbd:do_get_write_access+0x53/0x3e9
[529950.696581]  [<ffffffff802ac0f0>] __getblk+0x1d/0x222
[529950.696590]  [<ffffffffa004a9b8>] :jbd:journal_get_write_access+0x22/0x33
[529950.696607]  [<ffffffffa0069051>] :ext3:__ext3_journal_get_write_access+0x1e/0x47
[529950.696619]  [<ffffffffa005cd35>] :ext3:ext3_reserve_inode_write+0x3d/0x76
[529950.696630]  [<ffffffffa005cd84>] :ext3:ext3_mark_inode_dirty+0x16/0x31
[529950.696642]  [<ffffffffa005f9bd>] :ext3:ext3_dirty_inode+0x63/0x7b
[529950.696650]  [<ffffffff802a8553>] __mark_inode_dirty+0x29/0x19f
[529950.696658]  [<ffffffff8029e101>] file_update_time+0xdd/0x128
[529950.696664]  [<ffffffff80265bd9>] __generic_file_aio_write_nolock+0x253/0x3a9
[529950.696674]  [<ffffffff80265d90>] generic_file_aio_write+0x61/0xc1
[529950.696685]  [<ffffffffa005b2fe>] :ext3:ext3_file_write+0x16/0x94
[529950.696691]  [<ffffffff8028a1ef>] do_sync_write+0xc9/0x10c
[529950.696698]  [<ffffffff8023f6c1>] autoremove_wake_function+0x0/0x2e
[529950.696705]  [<ffffffff8028a999>] vfs_write+0xad/0x156
[529950.696712]  [<ffffffff8028af3b>] sys_write+0x45/0x6e
[529950.696717]  [<ffffffff8020b528>] system_call+0x68/0x6d
[529950.696723]  [<ffffffff8020b4c0>] system_call+0x0/0x6d
[529950.696728] 
[582615.014448] suspend: event channel 8

host:/home/user# free -m
             total       used       free     shared    buffers     cached
Mem:           200        189         10          0         14        137
-/+ buffers/cache:         37        162
Swap:         1535          0       1535

host:/home/user# df -h
Dateisystem          Größe Benut  Verf Ben% Eingehängt auf
/dev/hda1              51G   21G   28G  44% /
tmpfs                 101M     0  101M   0% /lib/init/rw
udev                   10M  444K  9,6M   5% /dev
tmpfs                 101M     0  101M   0% /dev/shm

host:/home/user# df -ih
Dateisystem           INodes  IBenut.  IFrei IBen% Eingehängt auf
/dev/hda1               3,3M     32K    3,2M    1% /
tmpfs                    26K       3     26K    1% /lib/init/rw
udev                     26K     804     25K    4% /dev
tmpfs                    26K       1     26K    1% /dev/shm

host:/home/user# netstat -tap
Aktive Internetverbindungen (Server und stehende Verbindungen)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 *:6000                *:*                     LISTEN      1391/proftpd: (acce
tcp        0      0 localhost:smtp          *:*                     LISTEN      1377/master     
tcp        0      0 *:22222                 *:*                     LISTEN      1302/sshd       
tcp        0     48 vadminNNN:22222         pD12345.dip.t-d:57745 VERBUNDEN   18554/sshd: user
tcp6       0      0 [::]:22222              [::]:*                  LISTEN      1302/sshd

top - 12:40:15 up 6 days, 23:01, 1 user, load average: 0.53, 0.83, 1.11
Tasks: 44 total, 2 running, 42 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni, 25.0%id, 75.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 205016k total, 194324k used, 10692k free, 14336k buffers
Swap: 1572856k total, 444k used, 1572412k free, 141040k cached

Ansonsten lief der Rechner jetzt 8 Monate ohne Probleme, geändert/installiert habe ich nichts.

Kann mir jemand helfen? Den Munin-Node habe ich erstmal beendet, ändert aber nichts am Problem. Ist die Festplatte vom Hostsystem kaputt?

Danke schön!

 

[d4f]

Es gibt 3 moegliche Szenarien;

a)
Eine deiner eigenen Applikationen bedarf eines immensen Zugriffs auf die Festplatte was die anderen und somit dein System ausbremst

b)
auf dem Hostsystem ist ein Hardwarefehler

c) (wahrscheinlich)
Ein oder mehrere Mitnutzer des Hostsystems belegen die komplette Festplattenzugriffe und der Scheduler kann dir nur hie und da ein paar Zugriffe spendieren. Erfahrungsgemaess kannst du wenigstens den Notbetrieb weiterfahren indem du staendig kleine Festplattenabfragen stellst.

In allen 3 Faellen solltest du deinen Hoster kontaktieren und ihn um Hilfe bitten.
Durch den vorhandenen SWAP denke ich nicht dass es ein OpenVz/Virtuozzo-Server ist, sollte es aber dennoch einer sein bitte die user_beancounter posten.

 

[Sasthi]

Hmm im Betreff steht Xen-Server; passt auch zu den geposteten Ausgaben
Ansonsten kann ich mich d4f nur anschließen

 

[dev]

Danke!

Möglichkeit a kann ich ausschliessen

Nachdem ich den Hoster konsultiert habe, ist es wahrscheinlich b.

Der gesamte Rechner ist schon getauscht worden (bis auf die HDs), aber der Fehler besteht nach wie vor, sie wissen auch noch nicht, woran es liegt.

Ich werde nun auf einen anderen Wirt umgezogen...