Speicherplatz verschwunden

A

Ayb

New Member
Hallo,

Wir haben hier ein Problem am vServer mit CentOS 7 von uns.

Vor 2 Tagen wurde via R1Soft ein Backup gemacht was ein Problem verursacht hat und der vServer am ende abgestützt ist.

Seit diesem Zeitpunkt sind ca 171GB an Speicherplatz verschunden die sich nicht finden lassen.

Code: 
[root@srv1 /]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/cos-root  1.2T  457G  743G  39% /
devtmpfs               25G     0   25G   0% /dev
tmpfs                  25G     0   25G   0% /dev/shm
tmpfs                  25G   57M   25G   1% /run
tmpfs                  25G     0   25G   0% /sys/fs/cgroup
/dev/sda1             243M  147M   84M  64% /boot
tmpfs                 4.9G     0  4.9G   0% /run/user/983
tmpfs                 4.9G     0  4.9G   0% /run/user/1001

Schau ich mit du -h --max-depth 1 wird mir aber viel weniger nutzung angezeigt und es fehler ca 171GB

Code: 
[root@srv1 /]# du -h --max-depth 1 ./
145M    ./boot
0       ./dev
du: cannot access ‘./proc/4211/task/4211/fd/4’: No such file or directory
du: cannot access ‘./proc/4211/task/4211/fdinfo/4’: No such file or directory
du: cannot access ‘./proc/4211/fd/4’: No such file or directory
du: cannot access ‘./proc/4211/fdinfo/4’: No such file or directory
0       ./proc
57M     ./run
0       ./sys
27M     ./etc
188K    ./root
107M    ./tmp
286G    ./var
2.0G    ./usr
0       ./home
0       ./media
0       ./mnt
118M    ./opt
0       ./srv
289G    ./

Ich hab null Ahnung wo diese 171GB sich nun befinden? Es lässt sich nicht finden wirklich.. Reboot brachte auch keinen Erfolg
 
Wie sieht denn die Festplattengröße über dem Rettungsmodus aus?
 
Das hab ich nicht nachgeschaut, wir haben eigentlich einen Administrator der Sich um sowas kümmern soll, allerdings teilt dieser mit

Das es sich hier um einen Anzeigenfehler auf der Konsole handeln würde/kann

Da die "du" anzeigen korrekt ist und die "df" anzeige abweicht...
 
Last edited by a moderator:
Was heißt denn "abgestürzt"? Wurde der vServer neugestartet?
Was für eine Virtualisierungsform ist es denn? OpenVZ/Virtuozzo mit R1Soft auf dem Hostsystem oder ein vollvirtualisiertes System (VMware, KVM, ...) und R1Soft innerhalb des vServers?

Falls der vServer nicht rebootet wurde, können 2 Ursachen für die Differenz zwischen "du" und "df" sorgen:
  • Ein Prozess hält noch gelöschte Dateien offen. Lassen sich einfach mit "lsof | grep deleted" (englische Locales vorrausgesetzt) finden. Passenden Prozess neustarten und der Speicherplatz wird freigegeben.
  • R1Soft arbeitet über ein propritäres Kernelmodul mit Snapshots vom Blockdevice. Wenn das Backup abbricht, werden nicht immer die Snapshots weggeräumt. Hier hilft ein Blick in "hcp -l".
 
Ich schätze mal, dass du nach deiner obigen Ausgabe einen KVM-Server als vServer nutzt.

Von daher kannst du auch alternativ die tatsächliche Festplattengröße mit folgenden Befehl herausbekommen:

Code: 
fdisk -l
 
Last edited by a moderator:
Verwende mal den Schalter --apparent-size bei du.

Nicht dass da irgendwelch Spass-Files übrig geblieben sind.
 
Last edited by a moderator:
Abgestützt heißt R1Soft hat ganz viele "cdp_io" Prozesse gestartet bis die 49GB Ram voll waren danach ging der Load bis 60.00 hoch und hatten dann laut "top" 80.00 .wa bis der Server irgendwann nicht mehr geantwortet hat.

Wir haben dann einen Softreboot gemacht und danach lief der Server wieder.

Es Handelt sich hier um einen KVM Server von Contabo SSD XXL Line

lsof | grep deleted spuckt zwar was aus aber nix besonders so wirklich

hcp -l sagt:

Code: 
[root@srv1 www]# hcp -l
Idera Hot Copy     5.14.4 build 433 (http://www.r1soft.com)
Documentation      http://wiki.r1soft.com
Forums             http://forum.r1soft.com

Thank you for using Hot Copy!
Idera makes the only Continuous Data Protection software for Linux.


No Hot Copy sessions are currently running.



fdisk sagt:

Code: 
Disk /dev/sda: 1288.5 GB, 1288490188800 bytes, 2516582400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0000dd02

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048      514047      256000   83  Linux
/dev/sda2          514048  2516582399  1258034176   8e  Linux LVM

Disk /dev/mapper/cos-root: 1288.2 GB, 1288204976128 bytes, 2516025344 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
 
Kann es sein, dass du ein Snapshot bzw. Sicherung angelegt hast?
 
Ja 4 Stück allerdings werden diese laut Support nicht dem Speicherplatz angerechnet, die Idee hatte ich auch schon.

Davon abgesehen bis zum R1Soft Problem wurde der korrekte Speicher auch angezeigt das Problem ist erst seit dem Server da Probleme hatte
 
Ayb said:
lsof | grep deleted spuckt zwar was aus aber nix besonders so wirklich
Click to expand...

Normalerweise dürfte der Befehl gar nichts ausgeben. ;)
Wenn da Dateien zurück kommen und du Speicherdifferenzen zwischen du und df hast, würde ich den gelisteten Dateien nachgehen.

Insbesondere Log-Files sind da sehr oft ein Knackpunkt, den man übersieht. Wenn irgendeine Anwendung durch einen Fehler besonders viel loggt; beim logrotate allerdings etwas schief gelaufen ist; schreibt er die Fehlermeldungen fröhlich weiter auf die Platte ohne das du sie jemals zu Gesicht bekommst. ;)

Liste die Dateien doch mal auf und identifizier die Prozesse anhand der PID, welche die Dateien offen halten. Diese Prozesse dann mal neustarten und schauen wie es deinem Speicherplatz geht. ;)
 
1200GB SSD sollen es sein laut Tarif.

Der Befehel lsof | grep deleted spuckt ne große liste aus mit solchen sachen:

Code: 
php-cgi   24792           tf1000    3u      REG              253,0         0 6444664308 /tmp/.ZendSem.MEVMtS (deleted)
dovecot    1497             root  119u      REG               0,19         0      19291 /run/dovecot/login-master-notify4daeb4f1c36db065 (deleted)
dovecot    1497             root  136u      REG               0,19         0      19300 /run/dovecot/login-master-notify3a0cb96cfe646850 (deleted)
dovecot    1497             root  139u      REG               0,19         0      19302 /run/dovecot/login-master-notify3c6a53f63fb70656 (deleted)
mysqld     2595            mysql    4u      REG              253,0         0 6443977262 /var/tmp/ibp6t8jQ (deleted)
mysqld     2595            mysql    5u      REG              253,0       187 6443977264 /var/tmp/ibDbJSSn (deleted)
mysqld     2595            mysql    6u      REG              253,0         0 6443977265 /var/tmp/ibIs7CrV (deleted)
mysqld     2595            mysql    7u      REG              253,0         0 6443977268 /var/tmp/ibZ824E0 (deleted)
mysqld     2595            mysql   11u      REG              253,0         0 6443977269 /var/tmp/ibzqDgmy (deleted)
mysqld     2595  2789      mysql    4u      REG              253,0         0 6443977262 /var/tmp/ibp6t8jQ (deleted)
mysqld     2595  2789      mysql    5u      REG              253,0       187 6443977264 /var/tmp/ibDbJSSn (deleted)
mysqld     2595  2789      mysql    6u      REG              253,0         0 6443977265 /var/tmp/ibIs7CrV (deleted)
mysqld     2595  2789      mysql    7u      REG              253,0         0 6443977268 /var/tmp/ibZ824E0 (deleted)
mysqld     2595  2789      mysql   11u      REG              253,0         0 6443977269 /var/tmp/ibzqDgmy (deleted)
mysqld     2595  2790      mysql    4u      REG              253,0         0 6443977262 /var/tmp/ibp6t8jQ (deleted)
mysqld     2595  2790      mysql    5u      REG              253,0       187 6443977264 /var/tmp/ibDbJSSn (deleted)
mysqld     2595  2790      mysql    6u      REG              253,0         0 6443977265 /var/tmp/ibIs7CrV (deleted)
mysqld     2595  2790      mysql    7u      REG              253,0         0 6443977268 /var/tmp/ibZ824E0 (deleted)
mysqld     2595  2790      mysql   11u      REG              253,0         0 6443977269 /var/tmp/ibzqDgmy (deleted)
mysqld     2595  2792      mysql    4u      REG              253,0         0 6443977262 /var/tmp/ibp6t8jQ (deleted)
mysqld     2595  2792      mysql    5u      REG              253,0       187 6443977264 /var/tmp/ibDbJSSn (deleted)
mysqld     2595  2792      mysql    6u      REG              253,0         0 6443977265 /var/tmp/ibIs7CrV (deleted)
mysqld     2595  2792      mysql    7u      REG              253,0         0 6443977268 /var/tmp/ibZ824E0 (deleted)
mysqld     2595  2792      mysql   11u      REG              253,0         0 6443977269 /var/tmp/ibzqDgmy (deleted)
imap-logi 31254         dovenull    4u      REG               0,19         0      19302 /run/dovecot/login-master-notify3c6a53f63fb70656 (deleted)
php-cgi   31526           tf1009    3u      REG              253,0         0 6462957335 /tmp/.ZendSem.1jHbiQ (deleted)

Wir reden hier ja von knapp 170GB die fehlen, das muss dann ja ein giga Log sein der sich da aufgebaut hat in einem Tag, da das Problem gestern schon bestand bzw direkt nach dem Problem
 
Last edited by a moderator:
Schau doch mal was der MySQLd aktuell macht ("show processlist;"). Vorsicht, wenn du die Ausgabe hier veröffentlichst. Da könnten sensible Daten drin stehen. Je nachdem welche Queries gerade ausgeführt werden.

Falls aktuell keine besonderen Tasks laufen, würde ich den MySQLd mal neustarten.
 
Ayb said:
Ja 4 Stück allerdings werden diese laut Support nicht dem Speicherplatz angerechnet, die Idee hatte ich auch schon.
Click to expand...
Frage am Rande: Wird R1Soft von Contabo selbst angeboten? Oder woher ist die Lizenz bezogen? R1Soft scheint in Deutschland nicht weit verbreitet zu sein, wenn man die deutschsprachigen Reseller als Maßstab nimmt. Zumindest die R1Soft-Website listet keine auf.
 
Ich hoffe ich hab es richtig gemacht

Code: 
[root@srv1 ~]# mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 48053
Server version: 5.5.50-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> show processlist;
+-------+------------+-----------------+------------+---------+------+-------+------------------+----------+
| Id    | User       | Host            | db         | Command | Time | State | Info             | Progress |
+-------+------------+-----------------+------------+---------+------+-------+------------------+----------+
|     3 | liveconfig | localhost:49152 | liveconfig | Sleep   |   10 |       | NULL             |    0.000 |
|     5 | liveconfig | localhost:49154 | liveconfig | Sleep   |   40 |       | NULL             |    0.000 |
|  1293 | liveconfig | localhost:51862 | liveconfig | Sleep   |    7 |       | NULL             |    0.000 |
| 48053 | root       | localhost       | NULL       | Query   |    0 | NULL  | show processlist |    0.000 |
+-------+------------+-----------------+------------+---------+------+-------+------------------+----------+
4 rows in set (0.00 sec)

MariaDB [(none)]>

R1Soft bekommen ich von diesem Anbieter
http://cloud-interactive.de/r1soft-backup
 
Der MySQL Server (bzw. korrekterweise MariaDB) macht aktuell überhaupt nichts und sollte sich gefahrlos neustarten lassen.
 
Öhm, hab ich was übersehen?

Code: 
[root@srv1 ~]# etc/init.d/mysql restart
bash: etc/init.d/mysql: No such file or directory
[root@srv1 ~]# service mysql restart
Redirecting to /bin/systemctl restart  mysql.service
Failed to restart mysql.service: Unit mysql.service failed to load: No such file or directory.

Edit: Ah okay es war systemctl restart mariadb

Brachte aber keinen Erfolg bzgl des Speicherplatz

Und bei lsof | grep deleted sind die Einträge trotzdem vorhanden
 
Last edited by a moderator:
Wird das Backup, welches durch die Software R1Soft erstellt wird, nur auf eine externe Festplatte ausgelagert oder auch auf dem vServer noch mal gespiegelt?
 
Wird auf einem externen Backup Server abgelegt wir haben den Speicherplatz dazu mit angemietet beim Anbieter....
 
Zeigt lsof die gleichen Dateien? Also identischer Dateiname und PID oder sind sie nur ähnlich?

@andreas0
R1Soft hat gar keine Möglichkeiten irgendwas lokal zu speichern. Das einzige was er lokal macht, ist den Snapshot anzulegen und diesen über einen propritären Backup Agent auf ein remote Storage zu speichern.
Lokal werden nur Snapshot Files mitgeschrieben. Die sind aber ganz normal im "du" sichtbar.
Deswegen auch vorhin die Frage ob noch Snapshots existieren.
 
You must log in or register to reply here.
Back
Top