Was für einen Server sollte ich verwenden?

M

Mexxim

New Member
Werte Forumsgemeinde,
nach langer vorbereitung und Planung erhoffe ich mir hier Antworten zu den letzten offenen Fragen zu erhalten.

Ich möchte mich schon im vorraus für eure hilfe bedanken!

Folgende Situation besteht:

Es soll eine art Produktsuchmaschine aufgebaut werden.
Um die Datenbank zu füllen und aktuell zu halten müssen xml-dateien von 450 Anbietern täglich ausgewertet werden- jeweils mit einer durchschnittsgröße von 142Mb g-zipped bzw 1Gb unkomprimiert.
Die daten müssen entpackt, analysiert und mit der datenbank abgeglichen werden.

Das heißt im umkehrschluss das täglich (bzw. nächtlich :)) ca. 450Gb daten verarbeitet werden müssen, tendenz steigend. Dies entspricht einem Monatlichen transfervolumen von 13,5Tb, ohne die abfragen. Sprich alles in allem ~15TB.
Abgesehen davon muss die datenbank natürlich auch nach verschiedenen kriterien und stings gefiltert/ sortiert ausgegeben werden können.

Ich habe mir nun seit einigen monaten einen debian squeeze server zu hause aus alter hardware gebaut um rum zu probieren- und komme mittlerweile mit der administration ganz gut zurecht. Das script habe ebenfalls ich geschrieben.

Nun stellt sich nur die frage: Welche hardware meistert solche anforderungen?

Mein momentaner favorit ist der Server XL 6 oder XL8 von 1&1 mit Plesk.
-> http://hosting.1und1.de/ServerPremi...Origin=ServerPremium&linkId=ct.btn.package.xl

Würde dieser ausreichend sein? Oder wäre ein dedizierter Datenbank-server von nöten?

Verstehe ich das richtig, das ich in Plesk einen user anlegen könnte und diesem dann limitierte ressourcen zuteilen kann? Hat Plesk einen hardware-monitor?

So, das wars auch eigentlich "schon".

Ich hoffe auf viele hilfreiche Beiträge.

Mfg
 
In welchem Zeitraum sollen/müssen die Daten verarbeitet werden ?

Du lädst täglich 450GB herunter, verarbeitest diese mit der bereits vorhanden Datenbank (die auch 450GB umfasst? :eek:) und löscht diese dann?
 
Die zeit sollte natürlich möglichst kurz ausfallen, jedoch stehen prinzipiell die nachtstunden von 1-6 zur verfügung, wo nur wenige user online sind und somit die datenbank-last der userabfragen möglichst gering ist.

Ja, die datenbank wird ebenfalls ~450GB groß sein müssen. Die dateien werden runter geladen, mit der db abgeglichen (falls es ein index-match gibt aktualisiert, ansonsten eingefügt) und wieder gelöscht.
 
Hi,

zunächst mal zu Plesk. Ich denke Plesk solltest du vergessen denn ist 1. für einen anderen Zwecks konzipiert (Domain- und Kundenverwaltung) und 2. ist es ziemlich ressourcen fressend.

Zu dem Server: Ich würde dir grundsätzlich einen Server mit entsprechender Bandbreite empfehlen insbesondere wenn die Tedendenz der Daten steigend ist. Eine 100 Mbit Anbdindung könnte hier theoretisch zum Nadelöhr werden.
Meine Empfehlung: https://www.hosteurope.de/produkt/Root-Server-XXL

Vorteile:
- mehr PEAK-Bandbreite
- mehr RAM
- mehr CPU
- mehr Festplatte
- monatliche Kündigungsfrist

Gruß
Chris
 
Last edited by a moderator:
Ich würde mit sowas nicht zu einem Massenhoster gehen, sondern mir ein angepasstes Angebot einholen. Ich würde dort auch die Möglichkeit einplanen, weitere Server hinzu zu buchen, wenn das ganze Projekt größer wird.

Auf Plesk würde ich verzichten und alles mit der Hand bauen. Bei solchen Projekten, die nicht 0815 sind, stehen dir diese Admin-GUIs nur im Weg rum mit ihren Vorgaben.

Auf Programm- / Scriptseite würde ich darauf achten, dass die Lösung horizontal skaliert, also so weit wie möglich Prozesse parallelisieren und modularisieren, damit man das später auf verschiedene Rechner verteilen kann.
 
Danke für den Beitrag und die Bestätigung meiner Zweifel.

Ich bin ebenfalls der meinung das Plesk zu kopflastig ist, und den hetzner server hatte ich auch schon einmal im visier.

Welche alternative verwaltungssoftware würdest du denn empfehlen? Hier habe ich alles einfach nur auf dem apache eingerichtet, aber ein wenig mehr komfort hätte ich bei einem richtigen server schon gern. Perspektivisch sollen auch andere kunden und deren projekte auf dem server laufen (kleine websites, nichts aufregendes).

@PapaBaer: Welchen Anbieter würdest du denn empfehlen?

Die möglichkeit den Server selbst zu bauen und nur housing zu zahlen steht davon abgesehen auch, kenntnisse sind zu genüge vorhanden. Jedoch habe ich da bedenken bezüglich der ausfallsicherheit bzw. fehlerbehebung im schadensfall.

mfg
 
Last edited by a moderator:
Du wirst einen Server mit deinem Projekt einigermaßen auslasten, gerade was Platten- und Netzgeschwindigkeit angeht. Da würde ich keine Kunden mehr drauf legen. Die dürften nämlich eher wenig Spaß an ihrer Website haben.

Ein Admin-Interface gibt es für deinen Anwendungsfall nicht. Wie auch, er ist wohl einzigartig oder zumindest sehr selten.
 
Da hast du wiederrum auch recht, es mag besser sein in diesem punkt weniger komerziell zu denken.

Der hosteurope server sollte für das unternehmen ausreichend sein, oder? Welche möglichkeiten bezüglich des hardwaremonitorings stehen mir in dem falle eigentlich offen? damit habe ich mich leider noch nicht beschäftigt.

Mfg
 
Also ehrlich gesagt denke ich, du stellst dir das etwas zu einfach vor. Alleine die Übertragung dieser 450GB Daten wird viele Stunden in Anspruch nehmen. Ich bin mir gerade nicht mal sicher, ob du das in einer Nacht schaffst. Hängt natürlich von deiner Verbindung, der Verbindung der Gegenseite und der Möglichkeit zur Parallelisierung ab. Aber mit einer 100 Mbit Leitung (mit der du ja nur etwas über 10MB/s schaffst) brauchst du hier garnicht anfangen.

Zur Verarbeitung kann man nicht so viel sagen, weil das sehr spezifisch ist. Aber alleine das reine Durcharbeiten wird schon ne Menge Zeit brauchen. Wenn dann noch viel in der Datenbank geschrieben werden muss, sieht es wohl nicht gut aus.
450GB Daten in einer Datenbank ist wirklich sehr viel und das erstellen/ändern von Daten (vorallem wenn auf der Datenbank Indexe vorhanden sind) ist da nicht mehr ganz so trivial wie bei kleinen Datebanken.
 
Hmm, bei den Datenmengen würde ich vom Start weg erst gar nicht versuchen, dass auf eine Maschine zu packen sondern gleich in Frontend (Suchseite) und das Backend (Auswerten der XML-Produktdaten und Aktualisierung der DB) strikt voneinander trennen. Sonst konkurrieren Frontend und Backend um die gleiche Bandbreite, von der/den CPUs will ich erst gar nicht reden.

Dann sollte man IMHO noch die Frage diskutieren, ob man mit einer zentralen DB arbeitet, was für den Server vermutlich massive Last bedeutet und jede Änderung ob gut oder schlecht sofort durchschlägt. Oder man hier auch auftrennt und die FrontDB auf Grund eines geeigneten Regelwerks geupdated wird. Die Auftrennung hätte generell den Vorteil, dass Du rund um die Uhr die Daten verarbeiten kannst.
 
Wenn ich das richtig gelesen habe im Startpost,sind es ca. 450 x 150 mb die der Server empfängt.Das ganze wird dann auf dem Server entpackt.Also sollte es ein Server sein mit viel Festplatte drin.


Was es das Monitoring angeht ,würde ich das vllt sogar bei einem anderen Anbieter auf einen Vserver packen.
 
In aller Regel kann man davon ausgehen dass < 1% der Produkte eines Anbieters sich taeglich aktualisieren und davon ist es meist der Preis.
(Kundenmeinungen und andere zusaetzliche user-generierte Inhalte sollte man davon trennen)

Du brauchst also Festplatten die sehr schnelle Seek-Zeiten haben (SSD) um die Datenbankinhalte binnen kurzer Zeit auf Aktualitaet zu ueberpruefen ansonsten laufst du schnell Gefahr dass das IO-Bottleneck deine Seite zur Gedultsprobe werden laesst.

Da das Frontend einer Produktsuchmachine read-only auf Datenbanken zugreift, waere wie schon von anderen erwaehnt eine Master-Slave Replikation empfehlenswert, dann kannst du Updates ueber den ganzen Tag verteilen und nicht in ein paar Stunden "quetschen".
Eventuell willst du aber bei solchen System gar nicht auf relationale Datenbanken setzen sondern auf die GraphDB-Vertreter der NoSQL-Gruppe.

Aufgrund der SSD wird vermutlich Housing zumindest gegenueber Hetzner's Hardwarepreisen billiger.
 
Ich würde die Architektur an sich überdenken.

Werden dir die XML-Dateien automatisch zu einem bestimmten Zeitpunkt zugestellt oder kommen die über den Tag verteilt?

Ich würde es über ein Replikationsszenario versuchen wie d4f vorgeschlagen hat. Eine Hau-Ruck-Lösung mit 450 GB auf einmal erachte ich als ungeeignet.
 
Hallo,

ich würde nach wie vor zu dem HE raten, auf Grund der hohen Bandbreite. Da wäre es auch nicht so schlimm wenn dann 450 GB anstehen.
Selbst auf meinem günstigen vServer (XL) erreiche ich über einfaches wget von http://speedtest.qsc.de/ zur aktuellen Zeit

Code: 
Saving to: `5GB.qsc.2'

100%[====================================>] 5,368,709,120 24.1M/s   in 1m 55s

2012-02-16 18:42:27 (44.5 MB/s) - `5GB.qsc.2' saved

44,5 MB/s im Schnitt.

Nichts desto trotz, wäre es wahrscheinlich wirklich sinnvoller das ganze ein wenigt verteilt anzugehen.
 
Moin!

Also ich glaube das ich mich der Meinung mal anschliessen werde das du mit einer 100mbit leitung wirklich probleme haben wirst. Da solltest du dir schon eine GB besorgen.

Was der Server an sich betrifft, ich persönlich halte nichts von SSD (ausser um swap darauf zu lagern). Ich würde sagen du wärst mit einem anständigen Raid da eher besser bedient.

Blöde Frage am rande: Was hast du dir als Budget vorgestellt? Weil es gibt ja andere Anbieter ausser Hetzner und HE.
 
You must log in or register to reply here.
Back
Top