dlange
New Member
Hallo Leute,
ich arbeite momentan an einer Software die das Besucherverhalten von Websitebenutzern auswerten soll. Hierbei fallen natürlich sehr viele Daten an (bei einer kleineren Internetseite min. 1 GB pro Monat (~ 5000 - 8000 Besucher pro Monat)). Das sind also bereits bei sehr kleinen Internetseiten viele Daten. Wenn nunn eine Seite mit ~ 50.000 Hits ausgewertet wird, steigt das ganze natürlich, des weiteren soll natürlich nicht nur eine Seite ausgewertet werden.
Kurz: Ich rechnen mit einem anfänglichen Datenaufkommen von ca. 20GB pro Monat die ich in einer Datenbank speichern möchte. (Welches allerdings schnell auf das 10fache anwachsen könnte, allerdings wenn, dass der Fall ist, dürfte das finanzielle Problem nicht mehr vorhanden sein).
Als erstes stellt sich mir folgende Frage: Wie soll ich dieses Datenaufkommen speichern? Mir steht nicht viel Kapital zur Verfügung, also eigenen Server kaufen und housen ist nicht drin, da zu teuer. Also werde ich erstmal auf dedicated Server zurückgreifen müssen. Hier wird ein Server also ca. 500 - 1000GB zur Verfügung haben. Wenn dieser Speicherplatz erschöpft ist, was dann?
Gibt es eine möglichkeit einen zweiten Server anzuhängen an die gleiche Datenbank? Die Daten quasi auf einen zweiten Server auszulagern? Falls ja, wie einfach / schwer ist dies umzusetzen?
Gehen wir mal davon aus, dass wir die Daten auf mehrere Server auslagern können (wäre schön, wenn ihr mir sagen könnt ob es geht und wenn ja wie
) wie sieht es mit der Perfomance aus? Besteht die Möglichkeit auch die Anfragen auf verschiedene Server auszulagern, sodass wir auch eine bessere Performance haben?
Dies sind bisher die Überlegungen die ich angestellt habe.
Eine Alternative wäre noch mehrere Server zu haben, auf jedem eine eigene Datenbank zu haben und der Software zu sagen, welcher Kunde auf welchem Server liegt und entsprechend zu connecten. Klingt zwar simpler, aber eine grosse Datenbank mit Performanceausgleich auf mehreren Server klingt für mich nach der optimalen Lösung ...
Um auf mein Topic zu sprechen zu kommen: Bei meiner Suche bin ich z.B. auf Amazon S3 gestossen, welches sich allerdings nicht als Datenbank anbietet. Was mich daran so fasziniert: Unbegrenzte Speichermöglichkeiten, da Amazon einfach aufrüsten kann, Es sollte keine Hardware oder Performanceprobleme geben, da die Amazon Sysadmins vermutlich mehr drauf haben als ich als Programmierer, Preise je genutzten und verbrauchten GB (Pay what you get ...). Alles in allem also (sofern es soetwas auch als Datenbanklösung geben würde) die Perfekte Lösung, da geringe Kosten und hohe Effizienz ... Ich bräuchte dann quasi nur noch einen Server, der als Frontend fungiert und die Anfragen auf S3 umleitet ... Ich vermute aber mal, dass es soetwas nicht gibt oder?
Bin gespannt auf eure Ideen / Ratschläge.
Danke & Gruss, Daniel
ich arbeite momentan an einer Software die das Besucherverhalten von Websitebenutzern auswerten soll. Hierbei fallen natürlich sehr viele Daten an (bei einer kleineren Internetseite min. 1 GB pro Monat (~ 5000 - 8000 Besucher pro Monat)). Das sind also bereits bei sehr kleinen Internetseiten viele Daten. Wenn nunn eine Seite mit ~ 50.000 Hits ausgewertet wird, steigt das ganze natürlich, des weiteren soll natürlich nicht nur eine Seite ausgewertet werden.
Kurz: Ich rechnen mit einem anfänglichen Datenaufkommen von ca. 20GB pro Monat die ich in einer Datenbank speichern möchte. (Welches allerdings schnell auf das 10fache anwachsen könnte, allerdings wenn, dass der Fall ist, dürfte das finanzielle Problem nicht mehr vorhanden sein).
Als erstes stellt sich mir folgende Frage: Wie soll ich dieses Datenaufkommen speichern? Mir steht nicht viel Kapital zur Verfügung, also eigenen Server kaufen und housen ist nicht drin, da zu teuer. Also werde ich erstmal auf dedicated Server zurückgreifen müssen. Hier wird ein Server also ca. 500 - 1000GB zur Verfügung haben. Wenn dieser Speicherplatz erschöpft ist, was dann?
Gibt es eine möglichkeit einen zweiten Server anzuhängen an die gleiche Datenbank? Die Daten quasi auf einen zweiten Server auszulagern? Falls ja, wie einfach / schwer ist dies umzusetzen?
Gehen wir mal davon aus, dass wir die Daten auf mehrere Server auslagern können (wäre schön, wenn ihr mir sagen könnt ob es geht und wenn ja wie
) wie sieht es mit der Perfomance aus? Besteht die Möglichkeit auch die Anfragen auf verschiedene Server auszulagern, sodass wir auch eine bessere Performance haben?Dies sind bisher die Überlegungen die ich angestellt habe.
Eine Alternative wäre noch mehrere Server zu haben, auf jedem eine eigene Datenbank zu haben und der Software zu sagen, welcher Kunde auf welchem Server liegt und entsprechend zu connecten. Klingt zwar simpler, aber eine grosse Datenbank mit Performanceausgleich auf mehreren Server klingt für mich nach der optimalen Lösung ...
Um auf mein Topic zu sprechen zu kommen: Bei meiner Suche bin ich z.B. auf Amazon S3 gestossen, welches sich allerdings nicht als Datenbank anbietet. Was mich daran so fasziniert: Unbegrenzte Speichermöglichkeiten, da Amazon einfach aufrüsten kann, Es sollte keine Hardware oder Performanceprobleme geben, da die Amazon Sysadmins vermutlich mehr drauf haben als ich als Programmierer, Preise je genutzten und verbrauchten GB (Pay what you get ...). Alles in allem also (sofern es soetwas auch als Datenbanklösung geben würde) die Perfekte Lösung, da geringe Kosten und hohe Effizienz ... Ich bräuchte dann quasi nur noch einen Server, der als Frontend fungiert und die Anfragen auf S3 umleitet ... Ich vermute aber mal, dass es soetwas nicht gibt oder?
Bin gespannt auf eure Ideen / Ratschläge.
Danke & Gruss, Daniel