5 Server -> 1 Festplatte

A

andi_kogler

New Member
Hallo,

da ich mich leider bei Servern nur begrenzt auskenne wollte ich hier um Rat fragen. Ist es möglich z.B 5 Server mit jeweils 100 MBit/s Anbindungen so zu konfigurieren, dass diese auf eine 5TB Festplatte zugreifen. Dabei soll eine Software vor dem Download automatisch ermitteln welche der 5 Verbindungen am wenigsten ausgenutzt wird und zu dieser verbinden. Somit möchte ich die Download Server entlasten und auf den Einsatz einer 1 GBit Karte verzichten.

Ich hoffe es ist einigermaßen verständlich erklärt. Falls die Idee total schlecht ist, sagt mir bitte bescheid!

Cu Andi
 
Hallo!
Definiere bitte mal 5 TByte Festplatte. Um was genau soll es sich da handeln? SAN? NAS?

mfG
Thorsten
 
Hallo Thorsten,

da ich leider kaum Ahnung von Servern habe musst ich schnell nachlesen was den der Unterschied zwischen den 2 Systemen ist. Die Sache ist folgende. Ich möchte gern ein Video on Demand Service auf Basis des progressiven Downloads realisieren. Nun sollten zumindest anfangs ca. 200 User in der Lage sein das Service zur selben Zeit zu nutzen.

Deswegen wird eine SAN Lösung wohl die Beste sein. (denke ich mal)

cu Andi
 
Hallo Andi,

zuerst versuche ich deine Anforderungen zu spezifizieren:

- Video on Demand Service auf Basis des progressiven Downloads
- ca 200 simultane User
- 5TB Speicherkapazität

andi_kogler said:
[...]da ich mich leider bei Servern nur begrenzt auskenne wollte ich hier um Rat fragen.
Click to expand...

Das ist sinnvoll. Erstmal fragen. Ich möchte dich nicht enttäuschen, jedoch kenne ich das Forum jetzt schon ein bisschen: Ein solches Projekt mit dieser Größenordung erfordert einen professionellen Hoster mit einem kompetenten Ansprechpartner (System-Admin).

Ich denke, dass das Ganze zu gewerblichen Zwecken geplant ist, also benötigst du:

- Redundanz (hochverfügbare Server und SAN)
- daraus resultieren:
- hardware load balancing
- server/network monitoring
- schnellster Support ("Hochverfügbar") -> entsprechendes SLA (Service Level Agreement) mit dem Hoster

Die Planung wird einige Wochen dauern. Ich kann dir nur empfehlen, dir jemand wirklich kompetentes zu suchen, sonst verlierst du Zeit/Geld/Nerven bei so einem Projekt.

Aber zu deiner Anfangsfrage: Es ist möglich. Sie entsprechende Konkurrenten. YouTube hat eine ausgefeilte Infrastruktur.

MfG, h00ch
 
Was ist an dieser Planung soo schwer? Anbei mal ein kleines ViSio Chart. Nur ich denke mal dein Vorhaben übersteigt deinen Geldbeutel um einiges...

Vernünftige Server liegen bei ~7000 Euro. Nen guter SAN Switch bei 10.000 Euro. Dann vernünftige SAN Boxen bei 15.000. Macht 70.000 Euro... Viel spaß ;)
 

Attachments

  • video_stream.jpg
    video_stream.jpg
    33.6 KB · Views: 185
Danke für die raschen Antworten. Ich stimme vollkommen zu, dass man für ein derartiges Projekt einen professionellen Partner benötigen würde.

In erster Linie geht es mir darum zu wissen was man brachen würde, und was nicht. Ein unseriöser Hoster könnte mir nämlich schnell teure Hardware einreden, die ich im Endeffekt aber nicht benötigen würde.

Folgendes Szenario:

MOD : Bilder bitte immer als Anhang.

Sobald ein User ein Video ansehen möchte ermittelt die Website mittels PHP Abfragen, welche Serverbandbreite am wenigsten genutzt wird. Anschließend connected er zu dem vorher ausgewählten Server der über einen Switch mit der Festplatte verbunden ist, und der progressive Download beginnt.

Angenommen in meinem Beispiel sind 6 x 100MBit Serveranbindungen zur Verfügung und ein Video hat eine Bitrate von ca. 3,5 MBit/s.

Wenn man zur Sicherheit 4 MBit/s pro Download reserviert sollten gleichzeitig ca. 150 User in der Lage sein das Service zu nutzen.

(Ahm... 2x 2Gbit/s FC Host bedeutet, dass das RAID System mit zwei 2 Gbits/s Upload Ausgänge ausgestattet ist, oder ???)

Wie gesagt. Ich kenne mich leider nicht gut mit Servern aus also bitte korrigiert mich falls ich falsch liege.
Sagt mir aber bitte auch bescheid, falls es so funktionieren könnte.

Cu Andi
 

Attachments

  • server.gif
    server.gif
    13.6 KB · Views: 187
Last edited by a moderator:
Wie möchstest du einen normalen Switch mit einer SAN Box (un dann auch noch eine von Plasmon *igitt*) verkabeln? Dafür brauchst du SAN Switche oder du musst direkt mittels eines HBA von dem Server an das SAN.

Und PHP muss nicht die Route ermitteln wo am wenigsten Traffic ist, das machen die SAN Switche. Brocade is ne vernünftige Firma für diese Switche. Aber ich sag dir, du musst Geld in die Hand nehmen, richtig Geld. Die Technik nachder du suchst lautet FSPF, Fabric Shortest Path First und gehört zu der FC-SW Topologie (Fibre Channel Switched Fabric).

Zudem würde ich alles "über-kreuz" verkabeln, was machste den wenn dir ein SAN Switch wegfliegt? Dann sind grad 3 Server ohne SAN...

Desweiteren rechnest du: 12x 250GB => 3TB. Ist zwar richtig, aber Schwachsinn so eine Rechnung. Grade bei so einem Projekt gehört ein RAID-5 dazu. Evtl sogar noch mit einer Hotspare-Platte. Macht 11 Platten im Raid 5 => 2.5 TB

Gruß,
Thilo
 
Last edited by a moderator:
Was haltet ihr von diesem Lösungsvorschlag?

Mein Ansatz wäre spontan einen (aus redundanzgründen gespiegelten) "backend"-Server aufzusetzen der die Daten enthält, und auf den Anwendungsservern diese Dateien zu cachen.

Wenn diese z.B. jeweils 1TB im Raid0 haben, stehen die Chancen gut, dass bei populären Videos garnicht der "Backend"-Server gefragt werden muss, wenn das Video vorher schon einmal genutzt wurde.​

cu Andi
 
Raid 0? Eher nicht. Schnell, aber wenn eine Platte ausfällt, ist der Server komplett down und du musst ein Backup aufspielen und einrichten bevor er wieder online geht. Desweiteren gehen so die letzten Log Dateien verloren.
Caching ist eine sinnvolle Idee, jedoch bitte nicht vorschnell nur die erste Caching Strategie wählen, die dir einfällt (Beispiel: ein TOP Video nur auf einem Server zu cachen...).

Überleg dir auch bitte, wo du deine Datenbank beherbergst.

MfG, h00ch
 
Hi,

ich habe letztens auch für einen Kunden recherchiert, was ein hochverfügbarer Webserver-Cluster kosten würde. Kompetente Angebote innerhalb von ca. 48h kann dir Hosteurope machen, wenn du denen deine Wünsche schilderst:

Host Europe GmbH - Managed Hosting - HA-Cluster

Die Preise sind bei denen realistisch, wenn man sich den Aufwand durchrechnet. Und die angegebenen Verfügbarkeiten/Support-Zeiten hält HE meiner Erfahrung nach ein...
 
Ein SAN bietet was du möchtest (zentrale Datenvorhaltung), aber man kauft es sich idealerweise deswegen, um dessen besondere Features wie Snapshots / Spiegelung / automatisches Tape-Backup / Migration im laufenden Betrieb und den gemeinsamen und schnellen Datenzugriff auf einem Cluster-Dateisystem zu ermöglichen. Diese Features kosten Geld, mal abgesehen von der FC-Infrastruktur mit HBAs und FC-Switch.

Einerseits: Es gibt recht preisgünstige SAN-Chassis z.B. der Fa. Infortrend unter diversen OEM-Labels, da kannst Du bis ~20 SATA-Platten drin verstauen, und die liegen auch gut mit Platten bestückt immer noch unter 10 TEuro (für Preise z.B. mal bei transtec.de reinschauen). Inklusive RAID6-Feature hast Du dort auch im laufenden Rebuild (nach einem Ausfall) eine einigermaßen sichere Box mit SAN-Feeling. Auf eine redundante interne Anbindung der Server könnte man auf gut Glück verzichten, sprich jeweils einen HBA und nur einen statt zwei FC-Switches. In der Summe passt das dann ggf. mit ~20 TEuro.

Andererseits: Für den hier skizzierten Streaming-Einsatz ist eine Lösung mit zwei NAS-Boxen (iSCSI) oder mit zwei gespiegelten NFS-Servern im Backend ausreichend und vor allem bezahlbarer. Ob Du damit aggregiert 100, 150 oder 200 Kunden zu je 4MBit verarzten kannst, das hängt dann von der konkreten Hardwareausstattung (FC-/SCSI-/SAS-/SATA-Platten mit 15k/10k/7.2k RPM, Single-/Dual-CPU-Server, etc.) ab.

RAID0 ist BTW immer indiskutabel :D
 
Was mich brennend interessieren würde ist Performance dieser Storagelösungen. Mit wie hohen Datenanfragen, sprich Usern, würden die beschreibenen Server-Konfigurationen zurecht kommen ohne in großen Leistungs-Schwierigkeiten zu geraten?
 
Aus der Hüfte: Du nennst 4Mbit/s pro (Streaming-)Kunde mit bis zu 150 Kunden gleichzeitig im Worst-Case (alle Kunden ziehen alle Daten gleichzeitig vom Backend), das wären dann 60MB/s. Das kann mit einer Workgroup-NAS mit SATA-Platten noch klappen, zwei Controller mit z.B. 1GB Cache und Gigabit-Ethernet angenommen, die Platten in RAID5-Gruppen.

Ein Midrange-SAN in ähnlicher Konfiguration (zwei Controller mit je 2MB Cache und zwei FC-Ports vorne und hinten) aber mit 10K RPM FC-Platten hätte damit mehr als nur gar nichts zu tun, ließe sich aber nicht wirklich schocken. Die doppelte Last (120MB/s) wäre sicher möglich. Mit mehr CPU-Power, Cache und 15K RPM Platten skaliert das dann noch ein wenig hoch.

Darüber ist Enterprise mit bis zu 1000MB/s und entsprechenden Preisen.
 
Die Hitachi AMS200 ist ein solches Midrange-System. Liegt leistungsmäßig zwischen der "alten" EMC CX300 und der neuen CX3-20, ist dabei aber vergleichsweise günstig und kommt aus einem namhaften Haus. Hat gute Softwarefeatures zu erträglichen Aufpreisen, kann FC-/SATA-Intermix sowie RAID6 fahren und ist ergänzbar um NAS-Features.

Das System darunter kann ich leistungsmäßig nicht beurteilen, es wird vermutlich schon wegen der reinen SATA-Bestückung nicht so performant sein. Für den günstigen Set-Preis lesen sich die Features aber sehr gut.
 
You must log in or register to reply here.
Back
Top