einballimwasser
New Member
Heute war ich im Rechenzentrum der Uni Karlsruhe bei einer Führung dabei und muss sagen: Sehr interessant!
Bereits auf dem Heimweg habe ich mir dann die ersten Gedanken gemacht wie das wohl funktionieren könnte.
Aus dem RZFührer habe ich dann rausgepresst bekommen, dass das RZ Scientific Linux einsetzt, eine Linuxdistribution, die zu Red Hat Enterprise Linux (das extra für die Anwendung in Rechenzentren ausgelegt ist) binärkompatibel ist. Ich werde mir über kurz oder lang ein paar Maschinen kaufen, die ich dann testweise in einem Cluster laufen lassen werde um die Technik, die dahinter steckt zu verstehen.
Cluster können ja verschieden angeordnet sein. Es gibt plattenlose cluster, Cluster die über Netzwerk verbunden sind, cluster auf denen ein OS läuft, das die physikalischen Rechner zu einem großen zusammenfasst, cluster die nur per Software geclustert sind (die OSse untereinander also gar niht kommunizieren, sondern die software die Nodes in einer riesigen "Wolke" zusammenfasst ) und dann gibt es noch Cluster die gar keine sind: Ein Server/Client System. Siehe VMWare: die ESX Server laufen alle einzeln mit ihren virtuellen Maschinen, werden allerdings von einem vCenter Server kontrolliert und ferngesteuert.
Ich hoffe, das ist so ungefähr richtig was ich da von mir gebe, wenn nicht - korrigiert mich bitte unbedingt!
Die Rechner selber haben eine Remote Management Karte. Wie funktioniert die? Ist die im Mainboard eingebaut und kann soft/Hardresets auslösen, CD Laufwerk simulieren und hat einen extra Netzwerkanschluss? Habt ihr dazu Beispiele?
Dann die Betriebssysteme selber:
Ich kann mir nicht vorstellen, das in einem riesigen Rechenzentrum in jedem PC eine Festplatte steckt, das wären ja Kilowatt an unnötigem Verbrauch. Nehmen wir mal pro HDD 5W an, dann sind das bei 512 Blades (Kann man 1HE Rackserver als Blades bezeichnen, wenn nicht - was sind blades GENAU?) dann 2560W und 5W/HDD sind ja noch wenig! Wie wird das zentral gemanaged? Welche Betriebssysteme laufen auf den Fileservern (SICHER kein Openfiler oder FreeNAS
) normalerweise? iSCSI Storage für die gebooteten Systeme kann ich mir vorstellen, doch was tut der noch nicht hochgefahrene Rechner? Er könnte per PXE von einem bereits hochgefahrenen Router oder Rechner booten, allerdings muss das auch irgendwie geregelt werden, wie funktioniert das? Ist der Bootserver dann der SPOF? Kann man den bootenden Rechnern ein anderes VLAN zuweisen als den laufenden / kontrollierenden?
Nach dem Boot müssen die Betriebssysteme oder Kernelteile erst einmal zueinander finden. Kann das in Selbstorganisation (Mesh Network) passieren? Welche Programme gibt es dafür (Ich rede hier vorrangig vom Linux bereich, andere OSse sind aber auch Willkommen
)? Gibt es hier auch wieder einen SPOF? Wie bekommt man den Bootserver + Router redundant?
Die ganzen Daten müssen ja auch irgendwo gespeichert werden, machen das die Fileserver selber oder tut das irgendein Kontrollrechner?
Wie sind die Fileserver / backuplibrarys an den rest der anlage angeschlossen? Per LAN?
Bei so vielen Rechnern / Cores kann man sich fragen, welche Tasks auf solchen Maschinen laufen. Ich kenne nur eine Anwendung: Grid Computing. Bei den mir bekannten Projekten nutzen aber die Prozessoren (rosetta@home, WCG, F@h) auf dem PC lokal (also 1Programm/ PC) zu 100% aus. Man hat mir aber erzählt, das bei Strömungssimulationen die Rechenzeiten individell vergeben werden, dh Prozessor x bis y bekommt den teil vom Auto, dann d bis r den anderen Teil und hinterher wird der komplette Crastest zusammengefügt aus den einzelnen Elementen. Wie skaliert so ein Cluster seine verfügbare Power? Tut er das selber oder ist das wieder nur ein Programm das auf einem Rechner läuft und die anderen "feeded" mit den Daten?
Dann zum Stichwort Interprozessorkommunikation. Es gibt in dem Cluster ja verschiedene PCs, die aber alle unterainander Kommunizieren müssen. Es gibt auch verschiedene Busse dafür, zb den Infiband. der kann 2,5Gbit in beide Richtungen (Duplex) übertragen. Ist das für die CPUs nicht zu langsam? Wo sitzen die Module? Direkt an der CPU bzw am CPU Controller oder an der Netzwerkharware? wie funktioniert das Protokoll?
So weit erstmal, danke fürs lesen und vor allem danke für die qualifizierten Antworten die ich bekommen werde. Das Thema interessierte mich schon immer brennend aber es gibt leider sehr wenig dazu im Netz. Informatik will ich deswegen nicht studieren müssen
Crossposted in Kaltmacher (da bekomm ich wohl nur spährliche Antworten, da sich das Forum als Allgemeines PC Forum und OCer Forum versteht.)
Bereits auf dem Heimweg habe ich mir dann die ersten Gedanken gemacht wie das wohl funktionieren könnte.
Aus dem RZFührer habe ich dann rausgepresst bekommen, dass das RZ Scientific Linux einsetzt, eine Linuxdistribution, die zu Red Hat Enterprise Linux (das extra für die Anwendung in Rechenzentren ausgelegt ist) binärkompatibel ist. Ich werde mir über kurz oder lang ein paar Maschinen kaufen, die ich dann testweise in einem Cluster laufen lassen werde um die Technik, die dahinter steckt zu verstehen.
Cluster können ja verschieden angeordnet sein. Es gibt plattenlose cluster, Cluster die über Netzwerk verbunden sind, cluster auf denen ein OS läuft, das die physikalischen Rechner zu einem großen zusammenfasst, cluster die nur per Software geclustert sind (die OSse untereinander also gar niht kommunizieren, sondern die software die Nodes in einer riesigen "Wolke" zusammenfasst ) und dann gibt es noch Cluster die gar keine sind: Ein Server/Client System. Siehe VMWare: die ESX Server laufen alle einzeln mit ihren virtuellen Maschinen, werden allerdings von einem vCenter Server kontrolliert und ferngesteuert.
Ich hoffe, das ist so ungefähr richtig was ich da von mir gebe, wenn nicht - korrigiert mich bitte unbedingt!
Die Rechner selber haben eine Remote Management Karte. Wie funktioniert die? Ist die im Mainboard eingebaut und kann soft/Hardresets auslösen, CD Laufwerk simulieren und hat einen extra Netzwerkanschluss? Habt ihr dazu Beispiele?
Dann die Betriebssysteme selber:
Ich kann mir nicht vorstellen, das in einem riesigen Rechenzentrum in jedem PC eine Festplatte steckt, das wären ja Kilowatt an unnötigem Verbrauch. Nehmen wir mal pro HDD 5W an, dann sind das bei 512 Blades (Kann man 1HE Rackserver als Blades bezeichnen, wenn nicht - was sind blades GENAU?) dann 2560W und 5W/HDD sind ja noch wenig! Wie wird das zentral gemanaged? Welche Betriebssysteme laufen auf den Fileservern (SICHER kein Openfiler oder FreeNAS
) normalerweise? iSCSI Storage für die gebooteten Systeme kann ich mir vorstellen, doch was tut der noch nicht hochgefahrene Rechner? Er könnte per PXE von einem bereits hochgefahrenen Router oder Rechner booten, allerdings muss das auch irgendwie geregelt werden, wie funktioniert das? Ist der Bootserver dann der SPOF? Kann man den bootenden Rechnern ein anderes VLAN zuweisen als den laufenden / kontrollierenden?Nach dem Boot müssen die Betriebssysteme oder Kernelteile erst einmal zueinander finden. Kann das in Selbstorganisation (Mesh Network) passieren? Welche Programme gibt es dafür (Ich rede hier vorrangig vom Linux bereich, andere OSse sind aber auch Willkommen
)? Gibt es hier auch wieder einen SPOF? Wie bekommt man den Bootserver + Router redundant?Die ganzen Daten müssen ja auch irgendwo gespeichert werden, machen das die Fileserver selber oder tut das irgendein Kontrollrechner?
Wie sind die Fileserver / backuplibrarys an den rest der anlage angeschlossen? Per LAN?
Bei so vielen Rechnern / Cores kann man sich fragen, welche Tasks auf solchen Maschinen laufen. Ich kenne nur eine Anwendung: Grid Computing. Bei den mir bekannten Projekten nutzen aber die Prozessoren (rosetta@home, WCG, F@h) auf dem PC lokal (also 1Programm/ PC) zu 100% aus. Man hat mir aber erzählt, das bei Strömungssimulationen die Rechenzeiten individell vergeben werden, dh Prozessor x bis y bekommt den teil vom Auto, dann d bis r den anderen Teil und hinterher wird der komplette Crastest zusammengefügt aus den einzelnen Elementen. Wie skaliert so ein Cluster seine verfügbare Power? Tut er das selber oder ist das wieder nur ein Programm das auf einem Rechner läuft und die anderen "feeded" mit den Daten?
Dann zum Stichwort Interprozessorkommunikation. Es gibt in dem Cluster ja verschiedene PCs, die aber alle unterainander Kommunizieren müssen. Es gibt auch verschiedene Busse dafür, zb den Infiband. der kann 2,5Gbit in beide Richtungen (Duplex) übertragen. Ist das für die CPUs nicht zu langsam? Wo sitzen die Module? Direkt an der CPU bzw am CPU Controller oder an der Netzwerkharware? wie funktioniert das Protokoll?
So weit erstmal, danke fürs lesen und vor allem danke für die qualifizierten Antworten die ich bekommen werde. Das Thema interessierte mich schon immer brennend aber es gibt leider sehr wenig dazu im Netz. Informatik will ich deswegen nicht studieren müssen
Crossposted in Kaltmacher (da bekomm ich wohl nur spährliche Antworten, da sich das Forum als Allgemeines PC Forum und OCer Forum versteht.)
Last edited by a moderator:
Es passen dann nämlich 84 Bladeserver (statt 42) in ein Rack hinein.
Schließlich betreibt man derartige RZs nicht zum Spaß!