Bus error?

B

Berliner31

New Member
Hallo Freunde,

seit einer Woche macht mein Root-Server Probleme. Er schmiert häufiger ab und ich weiß nicht woran es liegt!

Beim letzten Mal war ich per SSH eingeloggt - ich hatte zwei SSH-Fenster geöffnet - in einem lief "top".

Als Outlook meldete, dass es nicht mehr per IMAP auf das Server-Mailkonto zugreifen konnte, wechselte ich in das SSH-Fenster.

Im zweiten SSH-Fenster versuchte ich dann mehrere Kommandos aus.

z.B.

df -h
su
ls
tail /var/log/messages
init 6

Nichts funktionierte mehr .... als einzige Meldung bekam ich immer:

Bus error

Ich muss dann immer über die Homepage meines Server-Anbieters den "Rescue-Mode" starten - darüber wird der Server per Live-CD neu gestartet.

Wenn der Rescue-Mode läuft, verwende ich fsck -p /dev/sda3 und darüber werden auch immer Fehler gefunden

z.B.
Code: 
/dev/sda3: recovering journal
/dev/sda3: Clearing orphaned inode 7478977 (uid=0, gid=0, mode=0100644, size=3428960)
/dev/sda3: Clearing orphaned inode 7473799 (uid=0, gid=0, mode=0100644, size=650808)

Nachdem fsck fertig ist und die Fehler gefixt hat, starte ich den Server per init 6 neu und danach läuft er auch wieder im Normalmodus - leider nur 24 - 48 Stunden - dann schmiert er wieder ab.

In meiner message.log habe ich ab und an folgende Einträge - allerdings auch dann wenn der Server nicht abschmiert.

Code: 
kernel: [  368.384058] EDAC MC0: CE page 0x0, offset 0x0, grain 1073741824, syndrome 0x10, row 6, channel 0, label "": i3200 CE
kernel: [  381.384033] EDAC MC0: CE page 0x0, offset 0x0, grain 1073741824, syndrome 0x10, row 6, channel 0, label "": i3200 CE
kernel: [  408.384029] EDAC MC0: CE page 0x0, offset 0x0, grain 1073741824, syndrome 0x10, row 6, channel 0, label "": i3200 CE
kernel: [  410.384032] EDAC MC0: CE page 0x0, offset 0x0, grain 1073741824, syndrome 0x10, row 6, channel 0, label "": i3200 CE


Weiß von euch zufällig jemand wo hier das Problem liegt und was zum Serverabsturz führt?

Wenn ich Google bemühe, gibt es zu viele mögliche Erklärungen "defekter RAM, defekter Controller, defekter HDD".

Was meint ihr dazu?

Danke und Gruß Matthias
 
Hallo GwenDragon,

SmartmonTools gibt folgendes aus (scheint alles ok zu sein)!

Code: 
smartctl -a /dev/sda

smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-4-amd64] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     GB0250EAFYK
Serial Number:    WCAT1F278556
LU WWN Device Id: 5 0014ee 102ac38e3
Firmware Version: HPG2
User Capacity:    250,059,350,016 bytes [250 GB]
Sector Size:      512 bytes logical/physical
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   7
ATA Standard is:  ATA/ATAPI-7 T13 1532D revision 4a
Local Time is:    Mon Feb  1 18:45:50 2016 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                ( 4680) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  58) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x303f) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   200   198   021    Pre-fail  Always       -       975
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       56
  5 Reallocated_Sector_Ct   0x0033   198   198   140    Pre-fail  Always       -       16
  7 Seek_Error_Rate         0x002f   200   200   051    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   046   046   000    Old_age   Always       -       39660
 10 Spin_Retry_Count        0x0033   100   253   051    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x0033   100   253   051    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       54
184 End-to-End_Error        0x0033   100   100   097    Pre-fail  Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   096   000    Old_age   Always       -       262149
190 Airflow_Temperature_Cel 0x0022   072   063   045    Old_age   Always       -       28
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       53
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       2
194 Temperature_Celsius     0x0022   115   106   000    Old_age   Always       -       28
196 Reallocated_Event_Count 0x0032   199   199   000    Old_age   Always       -       1
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     39558         -
# 2  Short offline       Completed without error       00%         7         -
# 3  Short offline       Aborted by host               90%         7         -
# 4  Short offline       Completed without error       00%         4         -
# 5  Short offline       Aborted by host               90%         4         -
# 6  Short offline       Aborted by host               90%         2         -
# 7  Short offline       Aborted by host               90%         1         -
# 8  Short offline       Aborted by host               90%         1         -
# 9  Short offline       Aborted by host               90%         0         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
 
@Lord Gurke

Das bin ich gewesen! Leider konnten die Antworten (in dem von Dir verlinkten Thread) aber nicht wirklich weiterhelfen.

Mein Server-Anbieter sitzt im englischsprachigen Ausland - was soll ich dem jetzt mitteilen? RAM auswechseln, Controller auswechseln, HDDs auswechseln oder alles zusammen?

Ich müsste das Problem ja erstmal eingrenzen!

Weiterhin hoffe ich, dass es eben nicht die HDDs sind denn bei einem HDD-Wechsel müsste ich das ganze System neu aufsetzen und das dauert Ewigkeiten (ich bekomme schon jetzt graue Haare wenn ich darüber nachdenke).

Wie würdet ihr denn vorgehen wenn ihr dieses Problem hättet?

Ich bin überfragt und stochere im Nebel!
 
Last edited by a moderator:
Berliner31 said:
Wie würdet ihr denn vorgehen wenn ihr dieses Problem hättet?
Click to expand...
Hotstandby-System produktiv schalten und den defekten Server herunterfahren.

In's RZ fahren und Hardware testen. Oder das beim Hoster oder Hersteller einlasten.

Gemieteter Server? Mail an den Hoster und Austauschsystem ordern.

Die Kiste ist wohl defekt. Was daran defekt ist - ist, solange gemietet, nicht Dein Problem.
 
Eben ist er wieder abgeschmiert - diesmal hatte ich tail -f var/log/syslog laufen.

Nun gab es auch Fehlermeldungen die im Terminal erhlaten blieben:


Code: 
Feb  3 12:47:41 kernel: [45056.893500] sd 4:0:0:0: [sda] Unhandled sense code
Feb  3 12:47:41 kernel: [45056.893505] sd 4:0:0:0: [sda]  Result: hostbyte=invalid driverbyte=DRIVER_SENSE
Feb  3 12:47:41 kernel: [45056.893510] sd 4:0:0:0: [sda]  Sense Key : Medium Error [current] 
Feb  3 12:47:41 kernel: [45056.893515] sd 4:0:0:0: [sda]  Add. Sense: Record not found
Feb  3 12:47:41 kernel: [45056.893521] sd 4:0:0:0: [sda] CDB: Write(10): 2a 00 02 17 7c b8 00 00 08 00
Feb  3 12:47:41 kernel: [45056.893532] end_request: critical target error, dev sda, sector 35093688
Feb  3 12:47:41 kernel: [45056.893562] Buffer I/O error on device sda3, logical block 4361879
Feb  3 12:47:41 kernel: [45056.893585] lost page write due to I/O error on sda3
Feb  3 12:47:48 kernel: [45064.011845] sd 4:0:0:0: [sda] Unhandled sense code
Feb  3 12:47:48 kernel: [45064.011850] sd 4:0:0:0: [sda]  Result: hostbyte=invalid driverbyte=DRIVER_SENSE
Feb  3 12:47:48 kernel: [45064.011855] sd 4:0:0:0: [sda]  Sense Key : Medium Error [current] 
Feb  3 12:47:48 kernel: [45064.011860] sd 4:0:0:0: [sda]  Add. Sense: Record not found
Feb  3 12:47:48 kernel: [45064.011866] sd 4:0:0:0: [sda] CDB: Write(10): 2a 00 0a b7 73 80 00 00 08 00
Feb  3 12:47:48 kernel: [45064.011877] end_request: critical target error, dev sda, sector 179794816
Feb  3 12:47:48 kernel: [45064.011908] Buffer I/O error on device sda3, logical block 22449520
Feb  3 12:47:48 kernel: [45064.011931] lost page write due to I/O error on sda3
Feb  3 12:47:55 kernel: [45071.013013] sd 4:0:0:0: [sda] Unhandled sense code
Feb  3 12:47:55 kernel: [45071.013017] sd 4:0:0:0: [sda]  Result: hostbyte=invalid driverbyte=DRIVER_SENSE
Feb  3 12:47:55 kernel: [45071.013022] sd 4:0:0:0: [sda]  Sense Key : Medium Error [current] 
Feb  3 12:47:55 kernel: [45071.013028] sd 4:0:0:0: [sda]  Add. Sense: Record not found
Feb  3 12:47:55 kernel: [45071.013033] sd 4:0:0:0: [sda] CDB: Write(10): 2a 00 0a b7 7f b8 00 00 08 00
Feb  3 12:47:55 kernel: [45071.013045] end_request: critical target error, dev sda, sector 179797944
Feb  3 12:47:55 kernel: [45071.013075] Buffer I/O error on device sda3, logical block 22449911
Feb  3 12:47:55 kernel: [45071.013098] lost page write due to I/O error on sda3
Feb  3 12:48:02 kernel: [45078.133177] sd 4:0:0:0: [sda] Unhandled sense code
Feb  3 12:48:02 kernel: [45078.133182] sd 4:0:0:0: [sda]  Result: hostbyte=invalid driverbyte=DRIVER_SENSE
Feb  3 12:48:02 kernel: [45078.133187] sd 4:0:0:0: [sda]  Sense Key : Medium Error [current] 
Feb  3 12:48:02 kernel: [45078.133193] sd 4:0:0:0: [sda]  Add. Sense: Record not found
Feb  3 12:48:02 kernel: [45078.133198] sd 4:0:0:0: [sda] CDB: Write(10): 2a 00 0a b7 81 40 00 00 08 00
Feb  3 12:48:02 kernel: [45078.133210] end_request: critical target error, dev sda, sector 179798336
Feb  3 12:48:02 kernel: [45078.133239] Buffer I/O error on device sda3, logical block 22449960
Feb  3 12:48:02 kernel: [45078.133263] lost page write due to I/O error on sda3

Das heißt, dass die Festplatte im Eimer ist oder was meint ihr?
 
Gibt es da keine Möglichkeit noch etwas zu machen? Badblocks sperren oder ähnliches?

Das Neuaufsetzen des Systems dauert einen halben Tag (HILFE!)!
 
Wenns kein RAID ist, SOFORT Laufwerk read-only mounten, Backup/Image machen z.B. mit ddrescue. Am besten irgendwie ohne das System ausschalten (poweroff) zu müssen. Also auf USB- od. Netzwerkspeicher, hauptsache die Platte dreht weiter. Es kann nämlich vom defekten Kopf über Controller über Getriebe bis hin zu einem Kernelproblem alles mögliche sein.

Wie fährst du eig. dein System herunter? 56 Start/Stopps @ 53 Power-Off_Retract_Count ist schon Hardcore. Es seidenn der Controller war evtl. von anfang an defekt oder Stromausfälle sind ein dauerzustand.
 
Last edited by a moderator:
Hallo!

Ich habe leider kein RAID. Ich wollte eine Sicherung auf die zweite Platte machen aber ich finde die zweite nicht mehr (per df -h wird nur eine Platte angezeigt)

Ich lade gerade alles per SSH-Filemanager runter und sichere die Daten (geht momentan nicht anders).
 
Wie fährst du eig. dein System herunter? 56 Start/Stopps @ 53 Power-Off_Retract_Count ist schon Hardcore. Es seidenn der Controller war evtl. von anfang an defekt oder Stromausfälle sind ein dauerzustand.
Click to expand...

Hmmm .... es gab ab und an Serverausfälle - aber sehr selten (außer seit letzter Woche) - und da half nur noch ein Kalt-Boot über die Homepage des Serveranbieters. Wenn der Rescue-Mode gestart wird, weiß ich allerdings nicht wie der Serveranbieter das dann macht - ob das auch per Kaltstart gemacht wird - keine Ahnung.

Aber 56 Mal waren das auf keinen Fall!

Ich weiß also nicht wie dieser Wert zu Stande kommt!
 
Last edited by a moderator:
(per df -h wird nur eine Platte angezeigt)
Click to expand...
df zeigt nur Mountpoints, nicht Platten. Bei Hardware sind die Platten generell /dev/sdX (sda, sdb, ...)
Falls die Platte partitioniert ist kannst du die entsprechende Partition /dev/sdXY (bspw /dev/sdb1) mounten, ansonsten musst du sie zuerst partitionieren.

Ich bin grade etwas verwirrt - du arbeitest im Rescue mit fsck und smartmontools, aber ein "mount" kennst du nicht... oder meinst du dass die Platte insgesamt gar nicht in /dev/sdX auftaucht? Wenn nicht so meldet sie sich nicht erfolgreich am Controller an was von Controllerschaden (in dem Fall sehr gut möglich) über Kabelbruch bis zu Festplattenausfall alles sein kann.
 
Last edited by a moderator:
You must log in or register to reply here.
Back
Top