Aus 3 macht eins...

[pdedv]

Aus 3 macht eins - Virtualisierung erstversuch...

Hallo,

derzeit haben wir bei uns in der Firma folgende 3 Rechner als "Server" laufen:
1) i5 3570k, leicht untertaktet, 2GB RAM, 1 x 1TB
2) i5 3570k, leicht untertaktet, 4GB RAM, 2 x 4TB
3) i5 4460, 8GB RAM, 2 x 2TB

Darauf läuft CentOS 6 bzw. 7 im Runlevel 3.

Benutzer:
3 User intern (Mein Partner, der Angestellte und ich),
3 User extern (mein Partner und ich vom Home-Office und der Hoster für den Datenabgleich - nur MySQL)

Ich würde diese gerne auf einen Server zusammenlegen und darin die drei Rechner mit Virtualbox oder eventuell KVM virtualisieren...

Jetzt frage ich mich wie groß der Overhead sein wird mit dem Host-Betriebssystem und dazu noch der Software die die VMs realisiert. Als Host-OS stelle ich mir wieder CentOS vor. Außer es gibt speziell optimierte Distros, die deutliche Vorteile bieten...

Mit dem oben genannten CPUs und dem RAM läuft alles ohne Probleme. Diese Leistung reicht also aus und wir haben noch reserven.

Platten:
2 x WD Red Plus 8TB in RAID 1 falls man die 7200rpm spürbar merken würde andernfalls 2 x WD Red 8TB in RAID1

Hab mich mit Virtualisierung noch nicht viel beschäftigt und ich denke mal:
1 Kern für Server 1 + 2GB RAM (FTP für Datenupload von Kunden),
2 Kerne für Server 2 + 4GB RAM (Daten, Backup, Verwaltung, ...)
4 Kerne für Server 3 + 4GB RAM (Backoffice-Anwendungsserver)

Macht 7 Kerne und 10GB Ram...
Also würde ich 16GB RAM kaufen und 10-12 Kerne XEON oder AMD Ryzen Threadripper 1920X.

Welche CPU und wieviel RAM würdet Ihr empfehlen?

Bei meiner Suche bin ich auf den Intel Xeon Phi 7235 gestoßen - der wäre mit ca. 1100 EUR schon hart an der Schmerzgrenze aber 64 Kerne sind schon eine Ansage - damit hätte ich nicht nur die Möglichkeit die Leistung sehr fein einzuteilen und abzustufen sondern auch noch einiges an Luft nach oben.

Vor allem am Server 3 laufen viele Scripte zur Abfrage und Verarbeitung von Daten automatisiert, die alle nur einen Kern nutzen aber nicht allzuviel Leistung benötigen - da wäre es sicherlich von Vorteil wenn man mehr Kerne hätte und mehr parallel laufen könnte.

Da die Phi-Serie aber ein ziemlicher Exot ist und eher für Großrechner und maschinelles Lernen gedacht ist frage ich mich ob es Klug ist dieses Ding für mein Vorhaben zu verwenden.

 

[danton]

Ich persönlich würde den vSphere Hypervisor von VMWare verwenden (die kostenlose Variante sollte für dich ausreichen) und dazu ein passendes Komplettsystem von einem der bekannten Hersteller (HP, DELL, Fujitsu, usw.), welches vSphere kompatibel ist - da du sagst, dass bei den bisherigen Systemen noch Luft nach oben ist, würde ich 12-16 Kerne vorschlagen (aktuell hast du 12) und 16-32 GB (aktuell hast du 14 und etwas braucht der Hypervisor auch noch).
Bezüglich Festplatten hängt es davon ab, wie HDD-lasting eure Server-Anwendungen sind.

 

[pdedv]

Bezüglich Festplatten hängt es davon ab, wie HDD-lasting eure Server-Anwendungen sind.

Es wechselt sich ab... Tagsüber ziehen die Clients ordentlich HDD-Last vom Fileserver. Weil eben 2 oder gar alle 3 mit dem gleichen Daten arbeiten müssen!

Nachts arbeitet der Application-Server viel mit der CPU und ein wenig mit der HDD weil er diverse Updates generiert und die dann auf den Webserver überträgt. Da ist der Fileserver aber meist im Leerlauf.

Der App-Server ist im Grunde ein Flask-Webserver der von 3 Clients angesprochen wird und etwas Text ausliefert. Plus MySQL-DB. Da hält sich die HDD-Last in grenzen. Bisschen Protokoll schreiben und bisschen Datensätze abfragen und schreiben - k.A. was MySQL da verursacht - ich denke absolut Vernachlässigbar...

Das Generieren von Updates läuft nach dem Brutforce-Prinzip ab - zuerst werden zig Produktions-Varianten berechnet, dann mit zig Zukauf-Optionen verglichen und dann in eine Datei geschrieben. Alles eher CPU- und RAM-lastig... Wenn der 5-7 GB auf die ca. 4,5h Laufzeit umgerechnet schreibt ist das Viel. Bei Lesen ca. das 3-4 fache an Daten. Sagen wir Worst-Case 36GB in 4h dann rechnet es sich besser = 9GB total (R+W) pro Stunde.

Ab und an arbeiten beide des nächtens an Daten (Preisupdate + Bildverarbeitung). Da bekommt der Fileserver dann Aufgaben wie Bildkonvertierung, Generierung von Bildern mit diversen Scripts, PDF-Erstellung aus HTML- oder XML-Dateien, etc. Da können schon mal 250-400GB von 22:00 bis 7:00 durchlaufen (R+W).

Was ich noch nicht so wirklich gefunden habe sind Notfall-Pläne. Derzeit kann ich ja wenn zB der Server ausfällt einfach die Platte ausbauen in einen Client per SATA-Kabel reinhängen und dann dort die NFS-Konfig einspielen, 1-2 Zeilen anpassen und den NFS-Server starten - sprich eine sache von 10-15 Minuten bis der laden wieder läuft. Kann ich zB eine VMDZ-Datei auch als Platte unter Linux mounten?

Gegen den Datenverlust hab ich RAID1 informiert mich ESXi dass eine der RAID-Platten tot ist und ersetzt werden muss? Normale Backups gibt es natürlich auch. Meist drängt aber die Zeit und wenn möglich sollte ich vermeiden, dass ich 400GB oder 800GB Backup wieder einspielen muss weil es zu lange dauert.

Bei Software-Fehlern kann ich zur not ja auch den VPC vom Live-ISO-Image booten, chroot, Dienste starten und gut ist...

 

[danton]

Es wechselt sich ab... Tagsüber ziehen die Clients ordentlich HDD-Last vom Fileserver. Weil eben 2 oder gar alle 3 mit dem gleichen Daten arbeiten müssen!

Das ist eine extrem schwammige Aussage und gibt überhaupt keine Aussage darüber, wieviel Last auf den Festplatten tatsächlich liegt. Nur Messwerte können hierzu eine klare Aussage liefern.

Was ich noch nicht so wirklich gefunden habe sind Notfall-Pläne. Derzeit kann ich ja wenn zB der Server ausfällt einfach die Platte ausbauen in einen Client per SATA-Kabel reinhängen und dann dort die NFS-Konfig einspielen, 1-2 Zeilen anpassen und den NFS-Server starten - sprich eine sache von 10-15 Minuten bis der laden wieder läuft. Kann ich zB eine VMDZ-Datei auch als Platte unter Linux mounten?

Du da bist du bei einem generellen Problem von Virtualisierung. Wenn der Server ausfällt sind direkt alle virtuellen Maschinen offline. Da alles auf der gleichen Platte liegt, mußt du leistungsfähigen Ersatz haben, der alle virtuellen Maschinen parallel ausführen kann. Ein Desktopsystem reicht da dann nicht mehr so wirklich aus.
Ausfall-Szenarien hängen vom Budget ab. Zweiter Server, Service-Verträge mit kurzer Wiederherstellungszeit usw. Bei zwei Servern kannst du die virtuellen Maschinen auf zwei System aufteilen und als Cluster laufen lassen - eine Maschine sollte aber alle Systeme aufnehmen können, wenn du dann evtl. auch nicht mehr viel Luft nach oben ist.
Du wirst im Notfall auch nicht das virtuelle VM-Laufwerk mounten wollen, sondern einfach die virtuelle Maschine auf anderem Blech starten. Der ESXi selbst kann auch auf einem USB-Stick installiert werden (wird offiziell von VMWare supportet), so dass die Festplatten rein für die virtuellen Maschinen gebraucht werden. Du könntest sogar den Server nur mit einem USB-Stick zum starten ausstatten und den Speicherplatz per iSCSI von einem leistungsstarken NAS holen.

Gegen den Datenverlust hab ich RAID1 informiert mich ESXi dass eine der RAID-Platten tot ist und ersetzt werden muss?

ESXi kennt kein RAID, du brauchst zwingend einen kompatiblen Hardware-RAID-Controller. Die Überwachung erfolgt nicht direkt vom ESXi, sondern von den Agents des jeweiligen Hardware-Herstellers.

 

[Deleted member 11740]

Neben der Hardware gibt es auch noch ein großes Optimierungspotential bei Flask. Das Framework verwendet threading, was bei zu vielen Zugriffen sich negativ auf die Performance auswirkt und Ressourcen werden dann auch unnötig verbraucht, da jeder Thread speicher benötigt.

Seit Python 3.6 ist asyncio nutzbar geworden und drum herum hat sich viel entwickelt. Das Framework Quart ist Flask nachempfunden, unterstützt aber nativ http/2 und websockets.

https://gitlab.com/pgjones/quart

Falls ihr nur die 3 Zugriffe haben solltet, lohnt sich der Aufwand nicht wirklich.
Interessant wird es in dem Bereich 10k gleichzeitiger Verbindungen. Bekannt als 'C10k problem'.

 

[pdedv]

Das ist eine extrem schwammige Aussage und gibt überhaupt keine Aussage darüber, wieviel Last auf den Festplatten tatsächlich liegt. Nur Messwerte können hierzu eine klare Aussage liefern.

Kommt drauf an und schwankt extrem... Mal ist es eine 3MB PDF-Datei, mal sind es 320GB TIFF-Bilder die nacheinander eingelesen und in ein PDF geschrieben werden.

Ausfall-Szenarien hängen vom Budget ab. Zweiter Server, Service-Verträge mit kurzer Wiederherstellungszeit usw. Bei zwei Servern kannst du die virtuellen Maschinen auf zwei System aufteilen und als Cluster laufen lassen - eine Maschine sollte aber alle Systeme aufnehmen können, wenn du dann evtl. auch nicht mehr viel Luft nach oben ist.

Schlecht denn es macht wenig Sinn 3 Rechner auf einem zu virtualisieren um eben keine 3 Kisten mehr unterm Schreibtisch stehen zu haben und dann nen zweiten Ersatz-Server danebenzustellen. Dann hau ich 2000 EUR / Kiste oder noch mehr auf den Kopf um mir eine Kiste zu sparen?

Du wirst im Notfall auch nicht das virtuelle VM-Laufwerk mounten wollen

Eben doch entweder weil der Rechner anderweitig ausgelastet ist und ich drauf kein ESXi von Stick laufen lassen kann oder warum auch immer. Hab in der Vergangenheit mehr als einmal einfach eine Platte ausgebaut und an einen anderen Rechner gehängt...

ESXi kennt kein RAID, du brauchst zwingend einen kompatiblen Hardware-RAID-Controller. Die Überwachung erfolgt nicht direkt vom ESXi, sondern von den Agents des jeweiligen Hardware-Herstellers.

OK, Empfehlungen?

 

[pdedv]

Falls ihr nur die 3 Zugriffe haben solltet, lohnt sich der Aufwand nicht wirklich.
Interessant wird es in dem Bereich 10k gleichzeitiger Verbindungen. Bekannt als 'C10k problem'.

Lol - du hast aber schon mitbekommen, dass wir ein 3 Mann Betrieb sind oder? Hast den ersten Beitrag gar nicht gelesen oder glaubst du jemand von der EDV-Abteilung eines Konzerns mit 10k Mitarbeitern fragt so ein Projekt in einem Forum an?

Da das unser Backoffice (LoBu, FiBu, EK, OP, etc.) ist steht das logischer Weise auch sicher nicht öffentlich im Internet... Also haben wir darauf max. 1-3 Clients parallel und bei der Programmierung hab ich mich auch kein wenig um die Optimierung gekümmert und solange das Teil nicht mal einen i5 der 3. Generation auslastet seh ich da absolut keinen Bedarf irgendwas daran zu ändern.

 

[MadMakz]

Lol - du hast aber schon mitbekommen, dass wir ein 3 Mann Betrieb sind oder?...

Ja hat er, deshalb auch das "lohnt nicht bei drei". Es wahr ein Hypotethischer post.
Du hast ja damit angefangen

Bei meiner Suche bin ich auf den Intel Xeon Phi 7235 gestoßen -... 64 Kerne sind schon eine Ansage - damit hätte ich nicht nur die Möglichkeit die Leistung sehr fein einzuteilen und abzustufen sondern auch noch einiges an Luft nach oben.

Habe leider auf die schnelle auch keine Benchmarks finden können die etwas über die IPC aussagt. Da der Takt ja doch relativ gering ist könnte hier ein EPYC pepaart mit DDR4-2666 evtl. besser ausfallen.

Andererseits

das Teil nicht mal einen i5 der 3. Generation auslastet seh ich da absolut keinen Bedarf irgendwas daran zu ändern

Braucht man da echt 64 Kerne wenn man zuvor mit 12 mehr als zurecht kam?

Günstigste Möglichkeit: Wie wäres mit deiner Threadripper Idee und nimmst einen deiner i5 als fallback Server damit der betrieb nicht komplett stillsteht wenn mal was sein sollte.

keine 3 Kisten mehr unterm Schreibtisch stehen zu haben und dann nen zweiten Ersatz-Server danebenzustellen.

> Redundanz
> Platz sparen
Pick one

 

[pdedv]

Ja hat er, deshalb auch das "lohnt nicht bei drei". Es wahr ein Hypotethischer post.
Du hast ja damit angefangen

Kann sein aber ich verstehe die Gedankengänge mancher Leute nicht... Wenn ich nach einem passenden Familienauto frage und nicht sicher Bin ob ich nun den 5 oder 7sitzer nehme muss mich auch keiner darauf hinweisen welche Auflagen ich einhalten muss wenn ich eine Firma aufsperre um Hauptberuflich Busreisen zu veranstalten - Gut zu wissen aber total am Thema vorbei.

Habe leider auf die schnelle auch keine Benchmarks finden können die etwas über die IPC aussagt. Da der Takt ja doch relativ gering ist könnte hier ein EPYC pepaart mit DDR4-2666 evtl. besser ausfallen.

Ja aber 1100 EUR und ca. 400 EUR Motherborads machen das Teil schon preislich interessant.

Braucht man da echt 64 Kerne wenn man zuvor mit 12 mehr als zurecht kam?

Absoluter Overkill aber andererseits bietet das genug Luft für einige Experimente die mit teilweise bei der Weiterentwicklung unserer Tools schon helfen würden wenn ich mal schnell ein Testnetz mit 3 Zusatz VMs Zusammenfrickel ohne die anderen groß zu stören.

Günstigste Möglichkeit: Wie wäres mit deiner Threadripper Idee und nimmst einen deiner i5 als fallback Server damit der betrieb nicht komplett stillsteht wenn mal was sein sollte.

Wäre eine Option - gefallen muss es mir trotzdem nicht das dann wieder eine Kiste im weg rumsteht

 

[danton]

Schlecht denn es macht wenig Sinn 3 Rechner auf einem zu virtualisieren um eben keine 3 Kisten mehr unterm Schreibtisch stehen zu haben und dann nen zweiten Ersatz-Server danebenzustellen. Dann hau ich 2000 EUR / Kiste oder noch mehr auf den Kopf um mir eine Kiste zu sparen?

Auf Grund der genannten CPUs würde ich schätzen, dass die Systeme ca. 4-5 Jahre alt sind, d.h. unabhängig von der Virtualisierung sollte so langsam über was neues nachgedacht werden, um die Zuverlässigkeit zu erhalten.
Virtualisierung hat auch einen großen Nachteil: Der Ausfall eines physischen Systems bedingt auch direkt den Ausfall mehrerer virtueller Server. Die Hardware-Ersparnis macht sich also umso mehr bemerkbar, desto mehr Server man hat - in deinem Fall ist diese Ersparnis relativ gering, damit du den Server im Falle eines Hardware-Defekts schnell wieder an Laufen bekommst (z.B. durch einen Service-Vertrag mit kurzer Behebungsfrist oder einen Ersatzserver).

Eben doch entweder weil der Rechner anderweitig ausgelastet ist und ich drauf kein ESXi von Stick laufen lassen kann oder warum auch immer. Hab in der Vergangenheit mehr als einmal einfach eine Platte ausgebaut und an einen anderen Rechner gehängt...

Wenn du dieses "Notfall-Konzept" weiterleben willst, dann ist Virtualisierung der falsche Ansatz. Ist die Hardware kaputt, läuft kein Server mehr und da alls virtuellen Maschinen auf einer gemeinsamen Platte liegen, kannst du die Aufgaben dann nicht auf drei verschiedene PCs aufteilen. Ausnahme: Externer Datenspeicher z.B. in Form eines leistungsstarken NAS, welches die virtuellen Systeme als iSCSI bereitstellt.

OK, Empfehlungen?

WIe ich oben schon schrieb: ein Server-Komplettsystem von einem renomierten Hersteller (z.B. HP, Dell, Thomas Krenn), bei welchem die vSphere-Kompatibilität ausgewiesen ist. Da sind dann auch die Komponenten alle optimal aufeinander abgestimmt, was für eine hohe Zuverlässigkeit sorgt.

 

[Thunderbyte]

Dieses Thema erinnert mich an ein anderes, das wir vor kurzem hatten, bei dem der TE auch die Meinung vertrat, es wäre ein gutes "Ausfallkonzept", "einfach die Platte in einen anderen Server einzubauen".

Daher mal einige Punkte:

Bisheriges System:
- alles ca 5 Jahre alt, d.h. die Wahrscheinlichkeit eines Ausfalls von Komponenten aufgrund Alter steigt, Ersatzteile sind ggfalls kaum mehr / nicht schnell genug zu bekommen.
- Hinsichtlich der Hardware scheint es sich um Desktop HW zu handeln. Keine Fernadministration (IPMI/DRAC), keine redundanten Netzteile, keine HW die auf Dauerlauf ausgelegt ist.
- Server 1 hat keine Redundanz. Festplattenausfall (5 Jahre) -> Totalverlust der Daten (es sei denn der Server würde anderweitig gebackuppt oder die Daten werden nicht benötigt.
- Raid bei Server 2 oder 3 im Einsatz? Wurde nicht dazu geschrieben. Falls nicht -> unverantwortlich.

--> Bessere Lösung hinsichtlich mehrerer Punkte wäre anzuraten.

Vorschlag für neues System:
Virtualisierung wäre m.E. durchaus sinnvoll, aus mehreren Gründen, die hier noch nicht alle genannt wurden.

>> Virtualbox? -> NEIN. https://www.searchdatacenter.de/antwort/Eignet-sich-VirtualBox-fuer-die-Server-Virtualisierung Virtualbox ist ein System für den Desktop.

>> KVM? -> Eher NEIN. https://www.computerwoche.de/a/virtualisierung-ist-kvm-das-bessere-xen,1937585,3 . Alleine bringt es zu wenig Administrationswerkzeuge mit. Wenns schon KVMartig sein soll, dann wäre https://www.proxmox.com/de/proxmox-ve deutlich sinnvoller.

>> VM Overhead: Wenn die Virtualisierungslösung in einem kompletten OS installiert wird, also z.B. Proxmox auf CentOS (wie "in etwa" vorgeschlagen), ist der Overhead definitiv größer als bei einem "Bare Metal Hypervisor" ( http://cloudlist.de/was-ist-bare-metal-virtualisierung/ ). Bei Bare Metal ist die Schicht zwischen Hardware und VM so dünn wie möglich, so dass so viel Performance wie möglich in diesen ankommt. Der bekannteste und sicher verbreitetste Anbieter ist hier VMWare. Die große Verbreitung hat den Vorteil, dass man bei professionellen Serveranbietern direkt VMWare kompatible Server für genau diesen Zweck bekommen kann.

>> Platte in anderen Server stecken: NEIN! Das ist kein Sicherheitskonzept, das ist russisches Roulette. Davon abgesehen: das was am öftesten kaputt geht sind genau die Festplatten. Hiergegen helfen Raids und v.a. Backups.


>> Hardware:
Hier gibt es so viel zu sagen, dass ich gar nicht weiß, wo man anfangen soll...

- Xeon Phi: NEIN. Das ist ein Prozessor, der in der Tat für HPCs gedacht ist und ggfalls in Clustern damit eine Tesla GPU ersetzen / damit konkurrieren soll. Keinesfalls ist das eine Server CPU für einen Brot und Butter Server.

- Xeon und Threadripper: Diese beiden Prozessoren als Alternativen zu sehen ist falsch! Xeon ist die Serverlinie von Intel, Threadripper ist die "Enthusiasten" DESKTOP Linie der Ryzen Prozessoren (Server vs Desktop siehe oben). Wenn man einen Serverprozessor von AMD haben will, dann nimmt man einen EPYC. Wie ein Blick auf https://www.supermicro.nl/products/nfo/AMD_SP3.cfm?pg=MOBO zeigt - gegenüber der mannigfaltigen Mainboardangebote für Xeons, ist der EPYC noch sehr neu und die Auswahl nicht allzu groß. Benchmarks zeigen ein sehr gutes Preis Leistungsverhältnis (wir haben einen brand neuen Dual-CPU EPYC Server gekauft, der jedoch massive Probleme hatte). Will man etwas stabiles, nimmt man besser ein Xeon MB.

Meine Empfehlung:

- Ein VMWare fähiger Xeon Server von einem Markenanbieter mit Hardware Raid 1 oder 5 und ENTERPRISE Festplatten (nicht Reds, das sind NAS Festplatten). Falls man die Performance hier noch verbessern will, gibt es Raid Controller, die die Einbindung von SSDs als Cache erlauben.
Der Server sollte mit kurzfristigem SLA ausgestattet sein und Reparaturen entweder innerhalb von 4 Stunden oder "next business day" ermöglichen (je nachdem wie dramatisch ein Systemausfall sich auf das Business auswirkt).
Der Server sollte zudem leicht die aktuellen Anforderungen erfüllen können und noch Luft für die nächsten Jahre haben.

- Ein NAS System (z.B. Synology oder QNAP), auf dem VMWare Backup Software läuft (ich betreibe z.B. https://www.nakivo.com/vmware-backup/ auf einem Synology NAS) mit deutlich mehr Speicher als der VMWare Server. Damit können die VMs IM LAUFENDEN BETRIEB gesichert und von diesem wiederhergestellt werden - notfalls sogar direkt vom NAS betrieben.

- Absicherung des Servers und des NAS über USV.

Verbesserungsmöglichkeiten:
- Ein zweiter Server -> Betrieb eines VSphere Clusters. Hat den Vorteil, dass der Ausfall eines Server kompensiert werden kann und die VMs weiter laufen. Allerdings kostet das natürlich doppelt so viel, zudem ist Clustering mit der kostenfreien ESXi Lizenz nicht machbar -> Mehrkosten für VSphere.

- Externes Backup: Eigentlich gehört noch ein externes Backup eingerichtet, denn wenn Dir die Bude abbrennt und der VMWare Server UND das NAS drauf gehen wars das. Hierfür könnte man ziemlich einfach und kostengünstig C2 von Synology verwenden ( https://c2.synology.com/de-de ), oder ein zweites NAS an einen anderen Standort stellen.


KOSTEN: Wenn Du Dir über Kosten Gedanken machst, dann rechne lieber mal zusammen, wie viel Geld ein Komplettausfall an Personal- und sonstigen Nebenkosten für die 6 Mitarbeiter kostet. I.d.R. hast Du selbst hohe Systemkosten mit 1-2 Tagen Ausfall "wieder drin". Davon abgesehen sind das Betriebsausgaben und können natürlich von der Steuer abgesetzt werden.

 

[Joe User]

- Externes Backup: Eigentlich gehört noch ein externes Backup eingerichtet, denn wenn Dir die Bude abbrennt und der VMWare Server UND das NAS drauf gehen wars das. Hierfür könnte man ziemlich einfach und kostengünstig C2 von Synology verwenden ( https://c2.synology.com/de-de ), oder ein zweites NAS an einen anderen Standort stellen.

Je nach Datenlage könnten hier auch tägliche/wöchentliche Festplatten-Backups im Bankschlissfach ausreichen.

 

[pdedv]

Hinsichtlich der Hardware scheint es sich um Desktop HW zu handeln. Keine Fernadministration (IPMI/DRAC), keine redundanten Netzteile, keine HW die auf Dauerlauf ausgelegt ist.

Wer braucht das? Die Kisten stehen direkt vor mir!

Server 1 hat keine Redundanz. Festplattenausfall (5 Jahre) -> Totalverlust der Daten (es sei denn der Server würde anderweitig gebackuppt oder die Daten werden nicht benötigt.

... komplett egal. Da stellen Kunden Daten drauf, die wir dann ohnehin gleich wieder runter nehmen. Zur Not neue HDD rein und Kunden sagen, dass die Daten beim Übertragen beschädigt wurden er solls neu senden. Hatten wir schon 1-2x dank einer defekten Platte zig mal dank dem FTP-Protokoll.

Raid bei Server 2 oder 3 im Einsatz? Wurde nicht dazu geschrieben.

... Kein Komplettes Backup NUR Raid aus gutem Grund - weil am Fileserver auch 90% Mist ist, der nach 2-5 Tagen wieder gelöscht wird! Also rein Zeug das durchläuft.

Da gibt es nur ein Backup für die wichtigen Daten und eines über VPN zu mir Heim auf meinen Arbeits-PC.

Die Daten für die Produktion "sichert" nur Raid 1.

>> KVM? -> Eher NEIN. Alleine bringt es zu wenig Administrationswerkzeuge mit. Wenns schon KVMartig sein soll, dann wäre deutlich sinnvoller.

Wüsste nicht warum aber kann mir ESXi mal ansehen... Seit 10 Jahren hab ich auf den "Servern" aber nie mehr als SSH oder Ausschalten und Neustarten gebraucht.

>> Platte in anderen Server stecken: NEIN! Das ist kein Sicherheitskonzept, das ist russisches Roulette. Davon abgesehen: das was am öftesten kaputt geht sind genau die Festplatten. Hiergegen helfen Raids und v.a. Backups.

... Raid / Backup siehe oben. Was ich aber im Falle eines Ausfalls brauche ist ein Zugriff von 1, 2 oder gar allen 3 Rechnern auf die Daten und das nicht nach 4h, nicht nach 2h nicht mal nach 1h.

Mir sind in den letzten 10 Jahren zig Borads, CPUs, Platten, Netzteile und was weiß ich verreckt. Mit meiner Methode - Platte raus und Irgend ein PC spielt mal Fileserver, die anderen können arbeiten und ich schau was die Kiste hat hatte ich niemals mehr Downtime als ein paar Minuten!

Sollte die Fileserver-Platte sterben hab ich immer noch eine der RAID-Platten.

Sollte der Web-Server ausfallen kann ich DB, Python-Code und Config-Files direkt vom Backup am Fileserver verwenden, dort den DB-Dump einspielen, den Server-Dienst starten und in 10 Minuten sind wir wieder da.

Xeon Phi: NEIN. Das ist ein Prozessor, der in der Tat für HPCs gedacht ist und ggfalls in Clustern damit eine Tesla GPU ersetzen / damit konkurrieren soll. Keinesfalls ist das eine Server CPU für einen Brot und Butter Server.

... laut meinem Telefonat mit Intel von heute wäre das aber genau die sinnvollste CPU für uns. Wegen der hohen Anzahl an Kernen könnte ich viele Wartungs- und Automations-Scripte parallel starten und abarbeiten lassen. Einfach weil ich damit einem Server der es braucht mal eben auch 12, 18 oder 24 Kerne zuteilen kann.

Von mehr CPU-Leistung profitieren die Scripte nur bedingt.

Der Server sollte mit kurzfristigem SLA ausgestattet sein und Reparaturen entweder innerhalb von 4 Stunden oder "next business day" ermöglichen (je nachdem wie dramatisch ein Systemausfall sich auf das Business auswirkt).

Wie gesagt - 4h ist unakzeptabel... Wir machen viele Express-Produktionen. Da sind oft nicht mal 1h drin.

Der Server sollte zudem leicht die aktuellen Anforderungen erfüllen können und noch Luft für die nächsten Jahre haben.

Den File-Server und FTP-Server könnte ich abgesehen von den Wartung-Scripts auf einem Raspberry Pi betreiben. Den Web-Server wahrscheinlich auch!

Die nächtlich laufenden Automatischen Scripte laufen gut und mit Luft nach oben auf einem i5 Gen. 3/4. Also limitiert mich am meisten die Kern-Anzahl der Prozessoren - darum Xeon Phi.

Oder eine Variante mit 10-12 Kernen die genau soviel kostet wie der Phi oder mehr und sicher langsamer laufen sollte.

Ein NAS System (z.B. Synology oder QNAP), auf dem VMWare Backup Software läuft (ich betreibe z.B. https://www.nakivo.com/vmware-backup/ auf einem Synology NAS) mit deutlich mehr Speicher als der VMWare Server. Damit können die VMs IM LAUFENDEN BETRIEB gesichert und von diesem wiederhergestellt werden - notfalls sogar direkt vom NAS betrieben.

TOP-TIPP! Danke... das klärt schon mal eine der wichtigsten Fragen die ich noch recherchieren wollte.

Absicherung des Servers und des NAS über USV.

... Vorhanden - nicht üppig dimensiniert aber ausreichend und die APC fährt die Server runter wenn der Saft ausgeht.

Betrieb eines VSphere Clusters. Hat den Vorteil, dass der Ausfall eines Server kompensiert werden kann und die VMs weiter laufen. Allerdings kostet das natürlich doppelt so viel, zudem ist Clustering mit der kostenfreien ESXi Lizenz nicht machbar -> Mehrkosten für VSphere.

Theoretisch schon aber praktisch zu teuer. Da werd ich im Fall des Falles was improvisieren wie schon seit jeher.

Externes Backup

..siehe oben - schon lang vorhanden.

KOSTEN: Wenn Du Dir über Kosten Gedanken machst, dann rechne lieber mal zusammen, wie viel Geld ein Komplettausfall an Personal- und sonstigen Nebenkosten für die 6 Mitarbeiter kostet. I.d.R. hast Du selbst hohe Systemkosten mit 1-2 Tagen Ausfall "wieder drin". Davon abgesehen sind das Betriebsausgaben und können natürlich von der Steuer abgesetzt werden.

Nope - wenn ich beim falschen Auftrag 2h Systemausfall hab bzw. nicht zu den Daten komme dann reicht das für die Insolvenz und anschließender Privatinsolvenz ;-)

Darum sind im Fall der Fälle auch 4h Reaktionszeit oder nur mal eben zum Händler fahren und ein Mainboard kaufen zu lange! Da kommt die Platte raus, per USB-Kabel an einen Rechner dran und gut ist. Das wird auch in der Zukunft so weiterlaufen.

Ob ich dann 1 oder 2 Tage kein FTP für die Kunden habe oder keine Zahlungen in der OP-Liste austragen kann ist mir egal. Zur not hab ich ja Zugriff auf die virtuelle Platte mit dem Backup der ganzen Daten und
yum install mysql-server python-flask; service mysqld start; mysqldump -u root < db.sql; python app.py;
dauert zur Not keine 5 Minuten ;-)

 

[andreas0]

Wüsste nicht warum aber kann mir ESXi mal ansehen... Seit 10 Jahren hab ich auf den "Servern" aber nie mehr als SSH oder Ausschalten und Neustarten gebraucht.

Dann würde ich mir an deiner Stelle KVM doch mal genauer anschauen, zumal es unter CentOS 7 sehr stabil läuft.

Die Vorteile gegenüber VMWare sind folgende:

• KVM kannst du Lizenzfrei mit mehr als 8 CPU-Kerne und mehr als 1 CPU-Chip betreiben.
  
  
• Unter KVM kannst du auch bei Bedarf sogar einen echten CPU-Thread (entspricht einen halben CPU-Kern) auf ca. 160 vCores (1 vCores vergleichbar mit einem CPU-Thread) aufspalten.
  
  
• KVM läuft sogar im Gegensatz zu VMWare auch auf Intel Atom Prozesoren.
  
  
• KVM bleibt auch für die Zukunft Lizenzfrei, da dieses Projekt von sehr vielen Freiwilligen - sogar sehr bekannte Firmen darunter - gepflegt und weiterentwickelt wird.

 

[pdedv]

KVM

Gleiche Frage auch hier - in Fall der Fälle wie komme ich an die Daten. Kann ich die VM zur Not von einer ausgebauten Platte starten oder die Datei der Fileserver-Platte mounten?

Gibt es eine ähnliche Backup-Lösung wie bei VMware? (siehe Post von Thunderbyte)

Ich werde beide Dinger ansehen rein aus Interesse auch ESXi. Und wenn ich da ein Killer-Feature finde das ich dann unbedingt haben will zahl ich zur Not auch gern die 750 EUR für 3 Jahre - ist ja nicht die Welt die 20 EUR im Monat oder das 260 EUR / Jahr Abo...

Sofern ich aber nichts Finde und nach wie vor mit XEON Phi spekuliere oder eventuell ein Dual CPU-Board und irgendwann kommen 8-12 weitere Kerne dazu und ich nichts finde was mich von VMware überzeugt bleibe ich bei KVM.

Aus dem Bauch heraus ist es mir ohnehin sympatischer da ich KVM auf anhieb verstanden habe und die Doku deutlich verständlicher / übersichtlicher fand.

Aber egal welches System - ich werde nie wirklich viel nutzen und was weiß ich wie komplexe Szenarien aufbauen.

 

[andreas0]

Kann ich die VM zur Not von einer ausgebauten Platte starten oder die Datei der Fileserver-Platte mounten?

Sofern du der VM - egal ob VMWare oder KVM - auch noch eine zusätzlich Daten-Partition auf einer Festplatte zuteilst, so solltest du diese Partition mit Hilfe z.B. Ubuntu oder CentOS auf einen anderen Rechner wieder mit einhängen können, um dann an die Daten wieder heranzukommen.

Gibt es eine ähnliche Backup-Lösung wie bei VMware? (siehe Post von Thunderbyte)

Die Backup-Lösung zu VMWare habe ich mir jetzt nicht näher angeschaut. Aber wenn für dich Shell-Befehle unter Linux kein Fremdwort sind, so kannst du selbst dir sehr flexibel mit Hilfe von Shell-Scripten eine Backup-Lösung stricken.

 

[pdedv]

Die Backup-Lösung zu VMWare habe ich mir jetzt nicht näher angeschaut.

Im Grunde aber egal... 2 VMs sind klein und die kann ich auch komplett backupen und aus der Fileserver-VM brauche ich nur ein paar bestimmte Ordner... Die kann ich also die Daten aufs NAS legen lassen.

 

[Deleted member 11740]

Kann sein aber ich verstehe die Gedankengänge mancher Leute nicht

Dann musst du halt noch ein bisschen an dir arbeiten.

 

[danton]

Nope - wenn ich beim falschen Auftrag 2h Systemausfall hab bzw. nicht zu den Daten komme dann reicht das für die Insolvenz und anschließender Privatinsolvenz ;-)

Mit dem, was du bisher über dein EDV-Konzept geschrieben hast, kannst du meiner Meinung nach froh sein, dass dieser Umstand noch nicht eingetreten ist. Du machst dir Gedanken darüber, ob den XEON Phi eine sinnvolle Anschaffung ist (wo du jetzt schon mit deutlich weniger CPU-Leitung "Lust noch oben hast"), schlägst aber gute Ratschläge bezüglich Ausfallkonzept hier in den Wind, weil es zu teuer ist.
Wenn du mal eben schnell eine Notlösung basteln willst, dann ist Virtualisierung nicht das richtige für dich. Und mit diesem Fazit bin ich hier raus.

 

[pdedv]

Mit dem, was du bisher über dein EDV-Konzept geschrieben hast, kannst du meiner Meinung nach froh sein, dass dieser Umstand noch nicht eingetreten ist.

Eher dank meiner Herangehensweise denn was soll ich sonst machen wenn ich keine redundanten Server habe...

Du machst dir Gedanken darüber, ob den XEON Phi eine sinnvolle Anschaffung ist (wo du jetzt schon mit deutlich weniger CPU-Leitung "Lust noch oben hast"),

Weil ich in Zukunft die Anzahl der Wartungsscripts verdoppeln, verdreifachen und dann vervierfachen werde... Daher wäre es TOP wenn sich die Laufzeit nicht um den gleichen Faktor verlängert sondern gleich bleibt weil ich mehr Kerne gleichzeitig belegen kann.

Natürlich wäre ein Dual-CPU Board auch möglich und ich könnte dann bei bedarf eine weitere CPU dazukaufen... Nur wird das noch teurer als der Phi.

schlägst aber gute Ratschläge bezüglich Ausfallkonzept hier in den Wind, weil es zu teuer ist.

Ja weil du den SINN DER AKTION außer Acht lässt. Die Aufgabenstellung ist aus 3 Servern einen zu machen und nicht 2 sauteure überdimensionierte Rechner reinzustellen und dann noch ein großes NAS...

Ich will keine Serverfarm aufbauen sondern mehr Platz und weniger Kisten rumstehen haben! Würde ja über deine Idee und eventuell 2 Rack-Server nachdenken aber die Dinger sind zu laut um 10h direkt daneben zu sitzen...

Auch der Grund warum ich mich letztlich für WD Gold, Server-Bord und irgendeinen Xeon entschieden habe ist nicht die Leistung sondern weil ich mir davon erhoffe, dass ich dann nicht mehr alle 3, 4 oder 5 Monate wieder an einer der Kisten rumbasteln muss. Sprich Hardware die einige Jahre durchgehend laufen kann ohne auszufallen. Irgendwann passiert es sicher aber ich hoffe nicht so oft wie jetzt.

Wenn du mal eben schnell eine Notlösung basteln willst, dann ist Virtualisierung nicht das richtige für dich.

Sehe im Moment nicht warum... Scheinbar klappt alles genau so wie ich es mir denke.