Ram kaputt? Fehlersuche

P

PeterOG

New Member
Der Server stürzt immer ab da wollte ich mal memtest laufen lassen aber kommt immer nur "Unable to malloc" ... der komplette speicher kann ja auch nicht kaputt sein sonst würde auf dem server gar nichts mehr laufen aber er läuft ja noch nur extrem instabil
Code: 
memtest v. 2.93.1
(C) 2000 Charles Cazabon <[email protected]>
Original v.1 (C) 1999 Simon Kirby <[email protected]> <[email protected]>

Current limits:
  RLIMIT_RSS  0xffffffffffffffff
  RLIMIT_VMEM 0xffffffffffffffff
Raising limits...
Unable to malloc 4293918720 bytes.
...
Unable to malloc 4017094656 bytes.
..
Unable to malloc 3740270592 bytes.
..
..
Unable to malloc 676331520 bytes.
Unable to malloc 675282944 bytes.
Unable to malloc 674234368 bytes.
Unable to malloc 673185792 bytes.
Unable to malloc 672137216 bytes.
Unable to malloc 671088640 bytes.
Unable to malloc 670040064 bytes.
Unable to malloc 668991488 bytes.
Unable to malloc 667942912 bytes.
Unable to malloc 666894336 bytes.
Unable to malloc 665845760 bytes.
Unable to malloc 664797184 bytes.
Allocated 663748608 bytes...trying mlock... [   75.944048] memtest invoked oom-killer: gfp_mask=0x1280d2, order=0, oomkilladj=0
[   75.958841] Pid: 2033, comm: memtest Tainted: G   M      2.6.27.45 #2
[   75.971710] 
[   75.971711] Call Trace:
[   75.979603]  [<ffffffff8028ad7f>] oom_kill_process+0x57/0x1f0
[   75.991086]  [<ffffffff8028b0d0>] badness+0x19a/0x1de
[   76.001182]  [<ffffffff8028b36d>] out_of_memory+0x259/0x294
[   76.012320]  [<ffffffff8028e4eb>] __alloc_pages_internal+0x35e/0x41b
[   76.025015]  [<ffffffff80297940>] handle_mm_fault+0x1e2/0x6bd
[   76.036500]  [<ffffffff802961d3>] follow_page+0xfa/0x206
[   76.047119]  [<ffffffff80729874>] _cond_resched+0x11/0x38
[   76.057910]  [<ffffffff802980bd>] get_user_pages+0x2a2/0x386
[   76.069220]  [<ffffffff802983dd>] make_pages_present+0x92/0xc0
[   76.080874]  [<ffffffff8029a029>] mlock_fixup+0xfc/0x11d
[   76.091492]  [<ffffffff8029a29e>] do_mlock+0xaa/0xe9
[   76.101416]  [<ffffffff8029a404>] sys_mlock+0xaa/0xd2
[   76.111514]  [<ffffffff80220f1b>] system_call_fastpath+0x16/0x1b
[   76.123525] 
 [   76.126531] Mem-Info:
[   76.131213] Node 0 DMA per-cpu:
[   76.137543] CPU    0: hi:    0, btch:   1 usd:   0
[   76.147120] CPU    1: hi:    0, btch:   1 usd:   0
[   76.156697] Node 0 DMA32 per-cpu:
[   76.163370] CPU    0: hi:  186, btch:  31 usd: 174
[   76.172947] CPU    1: hi:  186, btch:  31 usd: 122
[   76.182528] Active:161318 inactive:18 dirty:0 writeback:0 unstable:0
[   76.182529]  free:1959 slab:3414 mapped:0 pagetables:451 bounce:0
[   76.207395] Node 0 DMA free:3916kB min:24kB low:28kB high:36kB active:3456kB inactive:0kB present:6396kB pages_scanned:5314 all_unreclaimable? yes
[   76.233647] lowmem_reserve[]: 0 977 977 977
[   76.242183] Node 0 DMA32 free:3988kB min:3984kB low:4980kB high:5976kB active:641636kB inactive:0kB present:1000972kB pages_scanned:361418 all_unreclaimable? no
[   76.270872] lowmem_reserve[]: 0 0 0 0
[   76.278362] Node 0 DMA: 1*4kB 1*8kB 0*16kB 0*32kB 1*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 0*4096kB = 3916kB
[   76.299843] Node 0 DMA32: 0*4kB 1*8kB 1*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 0*4096kB = 3864kB
[   76.321678] 33 total pagecache pages
[   76.328831] 0 pages in swap cache
[   76.335463] Swap cache stats: add 0, delete 0, find 0/0
[   76.345905] Free swap  = 0kB
[   76.351671] Total swap = 0kB
[   76.364352] 257792 pages RAM
[   76.370131] 5847 pages reserved
[   76.376417] 70 pages shared
[   76.382009] 249291 pages non-shared
[   76.388990] Out of memory: kill process 2033 (memtest) score 10183 or a child
[   76.403247] Killed process 2033 (memtest)
Killed
ansonsten bekomme ich immer die Meldungen
Code: 
Clocksource tsc unstable.
[    0.000000] Nvidia board detected. Ignoring ACPI timer override.
[    0.000000] If you got timer trouble try acpi_use_timer_override
und der frisch initialisierte Server hängt sich permanent auf.
Ich habe als Kernel Option auch nopapic , notsc oder clocksource=pit/tsc/hpet probiert alles ohne erfolg
Da ja memtest im Rescue-System nicht richtig funktioniert bzw. nur "unable to malloc" ausspuckt habe ich probiert memtest86 und memtest86+ zu installieren und per grub zu booten aber der Rechner hängt sich auch nur auf
Code: 
root (hd0,0)
 Filesystem type is ext2fs, partition type 0xfd
kernel /boot/memtest.bin
   [Linux-zImage, setup=0x800, size=0x1ce50]

Press any key to continue.
Press any key to continue.

Das Dateisystem ist in Ordnung aber sonst läuft halt gar nichts egal welche Distribution ich bei der Re-Initialisierung verwende das System hängt sich permanent auf zum Teil sogar im Rescue-System (am schlimmsten ist es bei suse 11.0^^)
Und ab und zu bekomme ich auch ein kernel oops der dann in einer panic endet. Als Oops steht dann immer SMP da also hab ich denn jetzt ein Hardwareproblem? CPU oder RAM defekt oder sonst irgendwas?
/proc/cpuinfo oder meminfo zeigt auch nichts auffälliges denke ich
Kann mir jemand vielleicht ein Tip geben wie ich die Hardware weiter überprüfen kann und herausfinden was kaputt ist?

Code: 
Unable to handle kernel paging request at 00007bff10f68b9c RIP: 
 [<ffffffff803fde5f>] do_page_fault+0x208/0x769
PGD 0 
Oops: 0002 [1] SMP 
last sysfs file: /devices/pci0000:00/0000:00:14.0/irq
CPU 0 
Modules linked in: ipv6 af_packet cpufreq_conservative cpufreq_userspace cpufreq_powersave powernow_k8 apparmor xfs loop dm_mod container button forcedeth k8temp i2c_nforce2 serio_raw hwmon rtc_cmos i2c_core rtc_core rtc_lib sg raid456 xor raid1 raid0 sd_mod ehci_hcd ohci_hcd usbcore edd ext3 mbcache jbd fan sata_nv pata_amd libata scsi_mod thermal processor
Pid: 3382, comm: drwebd Tainted: G   M  N 2.6.22.19-0.4-default #1
RIP: 0010:[<ffffffff803fde5f>]  [<ffffffff803fde5f>] do_page_fault+0x208/0x769
RSP: 0000:ffffffff80626b68  EFLAGS: 00010006
RAX: 00003dffc84a0fbe RBX: ffff81003d9999e0 RCX: 00000000000000bf
RDX: ffffffff80626c18 RSI: 000000000000000d RDI: ffffffff804bf7f0
RBP: ffff81003d999980 R08: ffffffff80626ee4 R09: ffffffff80626ec0
R10: ffff810032792000 R11: 0000000000000246 R12: ffffffffc84a0fbe
R13: ffffffff80626c78 R14: ffff81003d650140 R15: 0000000000000010
FS:  00002b7ae0ba5040(0000) GS:ffffffff80501000(0063) knlGS:00000000f7bb28e0
CS:  0010 DS: 002b ES: 002b CR0: 000000008005003b
CR2: 00007bff10f68b9c CR3: 000000003447f000 CR4: 00000000000006e0
Process drwebd (pid: 3382, threadinfo ffff810032792000, task ffff81003d650140)
Stack:  ffffffff80229af7 ffffffff80626b90 0000000000000086 ffff81003db10000
 ffff81003db100e0 0000000000000050 0000000000000204 ffff810000030001
 ffff81003da25048 ffffffff8804c1b7 0000000000000001 ffff81003d9db2d8
Call Trace:
 <IRQ>  [<ffffffff80229af7>] task_rq_lock+0x3d/0x73
 [<ffffffff8804c1b7>] :libata:ata_host_intr+0xc5/0x10c
 [<ffffffff8807c766>] :sata_nv:nv_generic_interrupt+0xa2/0xb2
 [<ffffffff880537e4>] :libata:ata_altstatus+0x21/0x26
 [<ffffffff88054037>] :libata:ata_tf_load+0xe6/0x14b
 [<ffffffff880537e4>] :libata:ata_altstatus+0x21/0x26
 [<ffffffff803fc5cd>] error_exit+0x0/0x84
 [<ffffffff802f5432>] __first_cpu+0xe/0x1d
 [<ffffffff8022a181>] find_busiest_group+0x14e/0x6b4
 [<ffffffff8022c647>] run_rebalance_domains+0x161/0x438
 [<ffffffff8024666e>] hrtimer_run_queues+0xe7/0x18b
 [<ffffffff802372ce>] __do_softirq+0x65/0xce
 [<ffffffff8020adbc>] call_softirq+0x1c/0x28
 [<ffffffff8020bef5>] do_softirq+0x2c/0x7d
 [<ffffffff8021a14e>] smp_apic_timer_interrupt+0x48/0x5a
 [<ffffffff8020a866>] apic_timer_interrupt+0x66/0x70
 <EOI>  [<ffffffff8026494c>] file_read_actor+0x0/0xf1


Code: 48 c7 84 24 b8 00 00 00 22 c9 46 80 4c 89 bc 24 c0 00 00 00 
RIP  [<ffffffff803fde5f>] do_page_fault+0x208/0x769
 RSP <ffffffff80626b68>
CR2: 00007bff10f68b9c
Kernel panic - not syncing: Aiee, killing interrupt handler!
  
Press any key to continue.
 
Um was für Hardware und welchen Kernel genau handelt es sich dabei? Ich hatte mal das Problem, dass ein SMP-Kernel auf einem Sempron-System (Singlecore) extrem instabil lief. War ein Kernel-Bug.

Ansonsten würde ich vom Support eine Hardwareprüfung durchführen lassen, weil mir das auch eher nach nem Hardwaredefekt aussieht.
 
Es ist ein 1&1 Root-Server L64.

Das mit der Hardwareprüfung hmmm... fühl mich vom Support ziemlich im Stich gelassen auf eMails im Support-Center wird nicht geantwortet und am Telefon hat man immer jmd anderes an der Strippe und alle erzählen einem was anderes...
Der eine meint die Hardware muss kaputt sein und Suse11.0 würde nicht zur Auswahl stehen bei der Initialisierung wenn es nicht komptabiel wäre. Der nächste meinte dann, was auch meine vermutung ist, dass das Image doch mit meiner Hardware inkompatibel sein könnte blabla und alle wollen immer nur die Nachrricht an das RZ weiterleiten aber passiert nichts. Ein paar reboots bis der Server mal 10min läuft kann ich auch selber im Recovery-Tool veranlassen...
Ich denke halt wenn ich nicht genau lokalisieren kann ob was kaputt ist und was kaputt ist können die mir nicht helfen.
Habe auch schon 3mal mit den "Technikern" von 1&1 telefoniert und die am Telefon konnten mir nicht helfen und meinten sie geben die Nachricht an das RZ weiter. Der Rechner hängt sich halt auf und ist dann nichtmehr erreichbar auch nicht über die serielle Konsole bei Suse brauch man dann gefühle 20 reboots bis die Kiste dann mal anspringt und nicht sofort wieder ausgeht.
Und es sollte angeblich auch schon die Platte getauscht werden aber ich glaube mehr als ein software rebuild des raids hat nicht statt gefunden und der gehört zur installationsroutine bei einer Initialisierung oder?
Code: 
[root@s15263363 ~]# cat /proc/cpuinfo
processor       : 0
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 75
model name      : AMD Athlon(tm) 64 X2 Dual Core Processor 3800+
stepping        : 2
cpu MHz         : 1000.000
cache size      : 512 KB
physical id     : 0
siblings        : 2
core id         : 0
cpu cores       : 2
apicid          : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt rdtscp lm 3dnowext 3dnow pni cx16 lahf_lm cmp_legacy svm extapic cr8_legacy
bogomips        : 2009.18
TLB size        : 1024 4K pages
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management: ts fid vid ttp tm stc

processor       : 1
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 75
model name      : AMD Athlon(tm) 64 X2 Dual Core Processor 3800+
stepping        : 2
cpu MHz         : 1000.000
cache size      : 512 KB
physical id     : 0
siblings        : 2
core id         : 1
cpu cores       : 2
apicid          : 1
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt rdtscp lm 3dnowext 3dnow pni cx16 lahf_lm cmp_legacy svm extapic cr8_legacy
bogomips        : 2009.18
TLB size        : 1024 4K pages
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management: ts fid vid ttp tm stc

also da es ja mit suse 11.0 am schlimmsten läuft und ich gerade gemerkt habe, dass dort der Kernel von Updates ausgeschlossen ist und ich den selbst kompilieren muss könnte das mit dem Kernel auch hinhauen aber mit anderen versionen habe ich auch probleme. Im Rescue-System startet sich der Rechner auch manchmal neu oder hängt sich auf. Im Moment habe ich CentOS 5.4 drauf die kernelversion von suse kann ich dir gerade nicht sagen die logfiles liegen zu hause. Aber kann das nachher nochmal installieren
Code: 
Linux version 2.6.18-164.11.1.el5 ([email protected]) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-46)) #1 SMP Wed Jan 20 07:32:21 EST 2010
frische installation wollte gerade mal updates laufen lassen und hab yum update eingegeben und das system hat sich wieder aufgehängt :(
Code: 
Running Transaction
  Updating       : openssl                                                                                                                                                                                1/35
  Updating       : nspr                                                                                                                                                                                   2/35
  Updating       : nss                                                                                                                                                                                    3/35
  Updating       : openssh                                                                                                                                                                                4/35
  Updating       : cyrus-sasl-lib                                                                                                                                                                         5/35
  Updating       : openssh-clients                                                                                                                                                                        6/35
  Updating       : cpio                                                                                                                                                                                   7/35
  Updating       : tar                                                                                                                                                                                    8/35
  Updating       : kernel-headers [###########################################################################################                                                                         ]  9/35
ich probiere jetzt nochmal memtest in centos zum laufen zu bringen aber das macht doch eigentlich kein unterschied mit grub oder? irgendwelche tipps wegen memtest? und kann ich den cpu irgendwie testen?
Ich hätte ja schon lieber wieder Suse drauf auch wenn mir das gerade ziemlich bescheiden erscheint ich habe mich halt schon dran gewöhnt.
Also nachher mache ich dann wieder 11.0 drauf und dann kann ich dir auch die Kernelversion sagen. Vielleicht läuft es ja wenn ich nachher ein neueren Kernel kompiliere.
 
Last edited by a moderator:
Also egal mit welchem Kernel das System hängt sich ab und zu einfach auf und meistens ohne Meldung. Habe gerade nochmal ne Meldung in CentOS bekommen
Code: 
NMI Watchdog detected LOCKUP on CPU 0
CPU 0
Modules linked in: ipv6 xfrm_nalgo crypto_api iptable_filter ip_tables x_tables                                                                                                                                cpufreq_ondemand powernow_k8 freq_table dm_mirror dm_multipath scsi_dh video bac                                                                                                                               klight sbs i2c_ec button battery asus_acpi acpi_memhotplug ac parport_pc lp parp                                                                                                                               ort sg i2c_nforce2 shpchp k8temp k8_edac forcedeth i2c_core hwmon serio_raw edac                                                                                                                               _mc pcspkr xfs raid456 xor multipath ahci linear sata_nv dm_raid45 dm_message dm                                                                                                                               _region_hash dm_log dm_mod dm_mem_cache mptspi mptscsih scsi_transport_spi mptba                                                                                                                               se sata_sis pata_sis raid1 ext3 jbd uhci_hcd ohci_hcd ehci_hcd ata_piix libata a                                                                                                                               rcmsr 3w_9xxx 3w_xxxx sd_mod scsi_mod
Pid: 2415, comm: yum Not tainted 2.6.18-164.11.1.el5 #1
RIP: 0010:[<ffffffff8005e100>]  [<ffffffff8005e100>] double_fault+0x0/0x84
RSP: 0000:ffffffff8043ffd0  EFLAGS: 00000002
RAX: 00007fff234db2d4 RBX: 0000000000000001 RCX: 00002b7d1f248f78
RDX: 0000000000000b32 RSI: 000000000000000d RDI: 00002b7d201fdea0
RBP: 00007fff234db2d4 R08: 0000000000000000 R09: 0000000000000000
R10: 0000000000000000 R11: 0000000000000fe0 R12: 0000000000000fe6
R13: 00002b7d201fdf10 R14: 00002b7d201fd840 R15: 000000001efefb40
FS:  00002b7d13424190(0000) GS:ffffffff803c1000(0000) knlGS:0000000000000000
CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
CR2: 00002b7d1f249008 CR3: 00000000301c3000 CR4: 00000000000006e0
Process yum (pid: 2415, threadinfo ffff810030d9c000, task ffff81003c370040)
Stack:  0000000000000000 ffffffff8005e100 0000000000000010 0000000000010002
 ffffffff8043ffd0 0000000000000000
Call Trace:
 <#DF>
Also da der Server ja auch bei anderen Kernelversion einfach hängen bleibt muss es doch an der Hardware liegen oder? Ist auch kein spaß wenn sich beim upgraden der Server aufhängt und danach nichts mehr funktioniert :D Aber wie bekomme ich jetzt raus ob der Arbeitsspeicher oder Prozessor (die Meldung deute ja wieder auf CPU hin) defekt sind oder wie bekomm ich denn wenigstens mal memtest zum laufen? hab probiert die Pre-Compiled Bootable Binary V4.00 von Memtest86+ per Grub zu starten und Memtest86 3.5 hab ich selber kompiliert mit make auch ohne fehler ... Effekt=0 System hängt sich auf memtest startet nicht.

Läuft halt nur irgendeine alte Version von Memtest im Rescue-Modus und man erhält die "Unable to malloc" Meldung.
 
Gib im beim Memtest im Rescue halt die Größe mit an, die geprüft werden soll. Sonst ist klar, dass Dir die Kiste OoM rennt.

Unabhängig davon würde ich von 1&1 einen HW-Test durchführen lassen, da das Problem ja auch im Rescuesystem auftritt.

Ob die Platte tatsächlich getauscht wurde, kannst Du der Seriennummer entnehmen. Hierfür solltest Du natürlich die Daten auch in Deiner Systemdoku haben um dies prüfen zu können.
 
Die Platte ist ja egal ob sie wirklich getauscht wurde, die funktioniert ja.

Und das mit der Größe von Memtest bringt nichts wenn ich 1K 1M oder 1GB einstelle kommt immer nur "Unable to malloc...." der komplette Speicher kann nicht allokiert werden nicht nur der belegte Speicher keine Ahnung wieso und was ich dagegen machen kann aber ich bin auch zu 90% sicher dass es an der Hardware, wohl am Ram liegt.

Ok Danke dann werde ich die von 1&1 mal probieren zu überreden ein HW-Test zu machen.
 
wstuermer said:
Gib im beim Memtest im Rescue halt die Größe mit an, die geprüft werden soll.
Click to expand...
Juhu also ich hatte es zwar schon mit verschiedenen Größen probiert und auch den Fehler bekommen aber jetzt habe ich es mal zum Laufen bekommen.danke
der Speicher ist wohl wirklich kaputt würde ich sagen
Memtest liefert ne Menge Fehler
Code: 
FAILURE: 0x3a22c7ac20e89c12 != 0xb05bdc3a9e9c9c12 at offset 0x00053e8c.
Skipping to next test...
  Test  6:        DIV comparison:  Setting...Testing...
FAILURE: 0x00009817 != 0x0001cd62 at offset 0x00053e8c.
Skipping to next test...
  Test  7:         OR comparison:  Setting...Testing...
FAILURE: 0x5dd0e15fbc37 != 0x5dd0e15fed73 at offset 0x00053e8c.
Skipping to next test...
  Test  8:        AND comparison:  Setting...Testing...
FAILURE: 0x4d4060570412 != 0x4d4060570612 at offset 0x00053e8e.
Skipping to next test...

Code: 
rescue:~# memtest 10M
memtest v. 2.93.1
(C) 2000 Charles Cazabon <[email protected]>
Original v.1 (C) 1999 Simon Kirby <[email protected]> <[email protected]>

Current limits:
  RLIMIT_RSS  0xffffffffffffffff
  RLIMIT_VMEM 0xffffffffffffffff
Raising limits...
Allocated 10485760 bytes...trying mlock...success.  Starting tests...

Testing 10481664 bytes at 0x7f1bf3139000 (4080 bytes lost to page alignment).

Run    1:
  Test  1:         Stuck Address:  Testing...Passed.
  Test  2:          Random value:  Setting...Testing...Passed.
  Test  3:        XOR comparison:  Setting...Testing...Passed.
  Test  4:        SUB comparison:  Setting...Testing...Passed.
  Test  5:        MUL comparison:  Setting...Testing...Passed.
  Test  6:        DIV comparison:  Setting...Testing...Passed.
  Test  7:         OR comparison:  Setting...Testing...Passed.
  Test  8:        AND comparison:  Setting...Testing...Passed.
  Test  9:  Sequential Increment:  Setting...Testing...Passed.
  Test 10:            Solid Bits:  Testing...Passed.
  Test 11:      Block Sequential:  Testing...Passed.
  Test 12:          Checkerboard:  Testing...Passed.
  Test 13:            Bit Spread:  Testing...Passed.
  Test 14:              Bit Flip:  Testing... 124
FAILURE: 0xffffffffffff7fff != 0xffffffffff007fff at offset 0x00000094.
Skipping to next test...
  Test 15:          Walking Ones:  Setting...   2

achja und das mit der Größe bei Memtest war mir wirklich nicht so klar hatte es zwar ausprobiert aber das memtest all gar nicht funktionieren kann hätte ich nicht gedacht. Laut 1&1 soll man im Rescue-Modus memtest all zum Testen des Speichers verwenden :D
 
Last edited by a moderator:
You must log in or register to reply here.
Back
Top