mdadm entfernt HDDs

C

CryOrDies

Member
Guten Abend.
Folgendes Problem, Ich habe ein Heim-NAS. In dem stecken 10 HDDs.
8 HDDs sind als S-Raid6 mit mdadm zusammengeführt.
Plötzlich schmeißt mdadm 3 Platten raus. Ich habe dann versucht das Raid zu stopen und neu einzulesen. Hat nicht funktioniert.
Daraufhin habe ich das System rebootet. Jetzt wird das Raid als inaktiv geführt und lässt sich nicht starten.
Ich kenn mich mit mdadm nicht allzugut aus. Daher bitte ich um eure Hilfe. Ein Teilbackup der Daten das recht alt ist habe ich noch.
Nur leider nix wert.
Ich hatte das Problem schoneinmal gehabt. Aber ich kann mich nicht mehr genau erinnern und nachvollziehn wie ich das gelöst hatte. Die SMART-Werte der Platten sind i.O. Bis auf eine, die hat manchmal ECC-Error. Das kuriose an dem ganzen ist, das ich ein neues richtiges NAS mit neuen Platte hier habe und am einrichten bin.
Der NAS soll den betroffenen Rechner ablösen. Wenn was fehlt bitte sagen. Ich dreh gerade echt am Stock und bin sauer zugleich... Liebe Grüße

Betrieben wir das ganze auf Ubuntu 18.04.01 LTS 64bit, Kernel 4.15.0-43-generic

Bash: 
nas@nas-server:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md127 : inactive sdi[5](S) sdj[6](S) sdg[3](S) sda[8](S) sdf[2](S) sde[1](S) sdh[4](S) sdd[0](S)
      23436968408 blocks super 1.2
   
unused devices: <none>


Bash: 
nas@nas-server:~$ sudo mdadm --detail /dev/md127
/dev/md127:
           Version : 1.2
        Raid Level : raid0
     Total Devices : 8
       Persistence : Superblock is persistent

             State : inactive
   Working Devices : 8

              Name : omv-nas:Raid
              UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
            Events : 253278

    Number   Major   Minor   RaidDevice

       -       8       64        -        /dev/sde
       -       8        0        -        /dev/sda
       -       8      144        -        /dev/sdj
       -       8      112        -        /dev/sdh
       -       8       80        -        /dev/sdf
       -       8       48        -        /dev/sdd
       -       8      128        -        /dev/sdi
       -       8       96        -        /dev/sdg


Bash: 
nas@nas-server:~$ sudo mdadm --assemble --verbose --scan /dev/md127
mdadm: looking for devices for /dev/md127
mdadm: /dev/sdg is busy - skipping
mdadm: /dev/sdi is busy - skipping
mdadm: /dev/sdj is busy - skipping
mdadm: /dev/sdh is busy - skipping
mdadm: /dev/sdf is busy - skipping
mdadm: /dev/sde is busy - skipping
mdadm: /dev/sdd is busy - skipping
mdadm: /dev/sda is busy - skipping

//Edit: Was mir gerade auffällt ist das in den Details das Raid als Level 0 betrachtet wird. Es ist aber eigendlich Level 6.
 
Last edited:
Hier noch examine Infos der einzelnen Platten:

Bash: 
nas@nas-server:~$ sudo mdadm --examine /dev/sda
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5860275120 (2794.40 GiB 3000.46 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
  Used Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257968 sectors, after=1180592 sectors
          State : clean
    Device UUID : 33e4621a:025627cf:ec9c5daf:1dc0179c

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 17:35:58 2019
  Bad Block Log : 512 entries available at offset 24 sectors
       Checksum : a42d09f2 - correct
         Events : 253278

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 6
   Array State : .AA.A.AA ('A' == active, '.' == missing, 'R' == replacing)
  
   ########################################################################
  
   nas@nas-server:~$ sudo mdadm --examine /dev/sdd
/dev/sdd:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : active
    Device UUID : 1f8c618a:8d48b92e:0b7e0151:af9019c6

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 12:02:19 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 3f5bf2bc - correct
         Events : 248763

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
  
   ########################################################################
  
   nas@nas-server:~$ sudo mdadm --examine /dev/sde
/dev/sde:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : clean
    Device UUID : e00b5e1d:e8341d6d:825a1846:c91dcfe2

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 17:35:58 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 227e2840 - correct
         Events : 253278

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : .AA.A.AA ('A' == active, '.' == missing, 'R' == replacing)
 
  ########################################################################
  
   nas@nas-server:~$ sudo mdadm --examine /dev/sdf
/dev/sdf:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : clean
    Device UUID : dfe78d83:fea6ba2c:fe7c3a37:94ca0572

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 17:35:58 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : c8a4459c - correct
         Events : 253278

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : .AA.A.AA ('A' == active, '.' == missing, 'R' == replacing)
  
   ##########################################################################
  
   nas@nas-server:~$ sudo mdadm --examine /dev/sdg
/dev/sdg:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : active
    Device UUID : c6f31777:b3f8ae36:f29502ac:0816d6a4

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 12:02:19 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 6dc5a7cc - correct
         Events : 248763

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
  
   ########################################################################
  
nas@nas-server:~$ sudo mdadm --examine /dev/sdh
/dev/sdh:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : clean
    Device UUID : 6f88e485:e07102ec:5e5da38c:770868ac

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 17:35:58 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 1a0dcf55 - correct
         Events : 253278

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : .AA.A.AA ('A' == active, '.' == missing, 'R' == replacing)
  
   ########################################################################
  
nas@nas-server:~$ sudo mdadm --examine /dev/sdi
/dev/sdi:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257960 sectors, after=0 sectors
          State : active
    Device UUID : 5c335026:3068a704:2855a9e9:86f3ac5a

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 12:02:19 2019
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : de73f3a4 - correct
         Events : 248763

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
  
   ########################################################################
  
nas@nas-server:~$ sudo mdadm --examine /dev/sdj
/dev/sdj:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : cda6ac4a:12bb7710:d49d2cf0:febefe0d
           Name : omv-nas:Raid
  Creation Time : Sun Dec  3 20:47:54 2017
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 5859094528 (2793.83 GiB 2999.86 GB)
     Array Size : 17577283584 (16763.00 GiB 17999.14 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
   Unused Space : before=257968 sectors, after=0 sectors
          State : clean
    Device UUID : 433487b3:5413b7f1:9d0eae62:c1728d41

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Jan 27 17:35:58 2019
  Bad Block Log : 512 entries available at offset 24 sectors
       Checksum : b89537f7 - correct
         Events : 253278

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 7
   Array State : .AA.A.AA ('A' == active, '.' == missing, 'R' == replacing)
 
Guten Morgen,

das sieht tatsächlich nicht sehr gut aus. Das Problem ist Folgendes: Anhand des Event-Counters der Devices kannst du erkennen, welche noch "auf dem Stand der Dinge" sind. Hättest du 6/8 Devices mit einem gleichen Event-Counter, könntest du das RAID nur mit diesen (degraded) via --assume-clean neu erstellen, denn RAID-6 darf ja zwei Platten verlieren. Du hast aber leider fünf Platten mit einem Event-Counter = 253278 und drei mit 248763. Ich würde wie folgt vorgehen:

1) Jede Platte in einem vollständigen Image sichern (einfach mit dd - weniger ist mehr).

2) Das RAID mit --assume-clean mit allen Platten neu erstellen. Wenn nach dem Rauswurf der Disks nicht mehr schreibend auf das RAID zugegriffen wurde (mdadm kann das RAID-6 ja mit fünf Platten nicht mehr operabel gehalten haben), könntest du Glück haben. Wichtig ist, dass du alle Metadaten (Chunksize, Level etc.) korrekt übergibst.

3) Filesystemcheck. Falls Probleme auftreten, Schritt 2 wiederholen, aber nur mit jeweils einer der geflogenen Platten, bis du bessere Ergebnisse erzielst.

Ursache des gleichzeitigen Herausfliegens dreier HDDs ist vermutlich ein defektes Netzteil oder ein defekter (SATA-)Controller. Das am besten vorher beheben.

Und wie immer der obligatorische Hinweis, mit dem ich keine Sympathiepunkte sammeln werde: Wenn es kein aktuelles Backup gibt, sind die Daten auch nicht wichtig.

Viele Erfolg!
 
PHP-Friends said:
Guten Morgen,

das sieht tatsächlich nicht sehr gut aus. Das Problem ist Folgendes: Anhand des Event-Counters der Devices kannst du erkennen, welche noch "auf dem Stand der Dinge" sind. Hättest du 6/8 Devices mit einem gleichen Event-Counter, könntest du das RAID nur mit diesen (degraded) via --assume-clean neu erstellen, denn RAID-6 darf ja zwei Platten verlieren. Du hast aber leider fünf Platten mit einem Event-Counter = 253278 und drei mit 248763. Ich würde wie folgt vorgehen:

1) Jede Platte in einem vollständigen Image sichern (einfach mit dd - weniger ist mehr).

2) Das RAID mit --assume-clean mit allen Platten neu erstellen. Wenn nach dem Rauswurf der Disks nicht mehr schreibend auf das RAID zugegriffen wurde (mdadm kann das RAID-6 ja mit fünf Platten nicht mehr operabel gehalten haben), könntest du Glück haben. Wichtig ist, dass du alle Metadaten (Chunksize, Level etc.) korrekt übergibst.

3) Filesystemcheck. Falls Probleme auftreten, Schritt 2 wiederholen, aber nur mit jeweils einer der geflogenen Platten, bis du bessere Ergebnisse erzielst.

Ursache des gleichzeitigen Herausfliegens dreier HDDs ist vermutlich ein defektes Netzteil oder ein defekter (SATA-)Controller. Das am besten vorher beheben.

Und wie immer der obligatorische Hinweis, mit dem ich keine Sympathiepunkte sammeln werde: Wenn es kein aktuelles Backup gibt, sind die Daten auch nicht wichtig.

Viele Erfolg!
Click to expand...

Vielen Dank für deine Hilfestellung. Das Raid läuft wieder und es sind alle Daten erhalten.
Ich bin beim durchforsten von Google auf ein Forum gestoßen. Da hat ein User das gleiche Problem wie ich.
Er hat das Array mit dem Befehl:
sudo mdadm --assemble --run /dev/md127

wieder an Laufen gebracht. DAbei gehört mehr Glück als wie Verstand das das klappt. Die --run Option sagt dem mdadm er soll das Raid starten auch wenn nicht alle Platten präsent sind. Und bei mir hat es funktioniert. Danach hat mir die Deteils angezeigt, dass die /dev/sdd n.i.O sei. Die hab ich dann vom Raid entfernt. Damit läuft das Raid auf 7 von 8 Platten. Lesen und Schreiben funktiert auch.

Dein obligatorische Hinweis, ist anfürsich völlig richtig. Bei mir ist nur der Unterschied, dass ich keine aktuellen Backups machen könnte. Weil mir das Geld einfach für die nötige HDD-Kapazität fehlt. Das Raid ist mit 14TB Daten gefüllt (Fotos, Videos, jahrelange Musiksammlung etc.)
Jetzt vor kurzem hab ich mein gespartes Geld in ein QNAP NAS mit 4x 10TB leisten können. Da läuft 2x Raid1.
Jetzt aktuell werden die Daten auf das neue NAS kopiert. Wenn ich wieder etwas Geld übrig habe, kaufe ich mir noch eine 6 oder 8 TB externe Platte. Da werden dann die absolut wichtigsten Daten nochmal als Backup gesepichert.
Ich bedanke mich herzlich für die Hilfe.
 
You must log in or register to reply here.
Back
Top