Gelegentlicher Serverausfall bei googlebot Besuch

[Franzel]

Hallo,

mein Problem besteht darin, dass der Server in die Knie geht sobald neben den normalen User auch noch der googlebot vorbeischaut und die Seiten zieht.

Meine Website hat ca. 7000 User pro Tag mit ca. dem 5 fachen an Seitenaufrufen.

Mein Server ist ein Managed Server bei 1und1 mit folgender Ausstattung.
# AMD Athlon 64 3500+
# 2.048 MB DDR-RAM
# 2 x 120 GB Festplatte (RAID1)

Auf dem Server läuft nur 1 Site mit Joomla (open-sef, Seo component) und angeschlossenem Forum (vbulletin + vbseo).

Der Load des Servers beträgt im Durchschnitt 0.5 und in Spitzenzeiten kommt er auf 1.6 manchmal sogar 2.

CPU usage ist eigentlich nie über 50%. Der Speicher hat auch jedemenge Spielraum - keine Auslastung.

Das einzige was überhöht ist, ist der Load.

Bei 1und1 konnte man mir leider auch nicht weiterhelfen.
Ich hatte gefragt ob der Server für die Größe der Website (Useraufkommen) ausreichend ist.

Diverse Optimierungen habe ich soweit vorgenommen da bis vor kurzem der Load noch über 3 in Lastenzeiten stand.
1. Gzip ausgeschaltet
2. Bei Memberprofilen und Avataren SEO urls ausgeschaltet (da läuft vbseo wie hier in dem Board)
3. Den Yahoo bot hab ich in der robots.txt mit einem crawl delay von 30 gesetzt. So zieht er die jede weitere Seite nur noch alle 30 Sekunden.

Nun meine Frage:

1. Was gibt es noch für Optimierungsmöglichkeiten? (Da das ein Managed Server ist kann ich nicht viel an Einstellungen vornehmen.)
2. Ist der Server überhaupt ausreichend?
3. Wenn nein, welchen könntet Ihr empfehlen?

Schöne Grüße
Franzel

 

[Huschi]

I.d.R. reicht der Server locker für so ein Projekt.
Aber ist es nur die Load, die Dir Angst macht?
Welche Werte sind es konkret?
Wird während der hohen Last der Swap benutzt?
Kommt es zu Verzögerungen bei den Webseiten?

huschi.

 

[ElNino]

Moin Franzel,

mein Problem besteht darin, dass der Server in die Knie geht sobald neben den normalen User auch noch der googlebot vorbeischaut und die Seiten zieht.

Mal nur ins "Blaue vermutet...

Wenn der Load erhöht ist, schaust du in dem Moment auch in die "whos online" Funktion vom vB? Wenn ja, Könnte das auf ein DNS-Problem deines Servers hindeuten. Hatte vor kurzem ähnliches Problem.

MfG Tom

 

[Franzel]

Hallo und danke für Eure Antworten.

Hier mal ein Bild von meinem Load, CPU, Memory und Swap vom 11.12.2006

Bei den Werten von letzter Woche wurde der Swap auch nicht benutzt.

DNS Einstellungen sind ok, werden von 1und1 gemacht.

Was sagt Ihr zu den Grafiken?

 

[Huschi]

Hier mal ein Bild von meinem Load, CPU, Memory und Swap vom 11.12.2006

Du sollst diese Werte prüfen wärend oder kurz nachdem die Last so hoch ist.
Diese Werte zeigen ganz klar: Der Server langweilt sich zu Tode.

huschi.

 

[Franzel]

Ok Danke

Dann bin ich ersteinmal beruhigt. Das mit der Last werde ich in den besagten Momenten prüfen.

Wenn Du jetzt so diese Werte siehst, könntest Du mal bitte eine Einschätzung geben was der Server noch an Userzahlen verträgt.

Diese Grafiken waren von einem Tag mit 7000 Usern und ca. 35000 Seitenaufrufen.

Würde der Server das doppelte vertragen? Ich weiß das man das so pauschal nicht sagen kann aber nur mal um so eine ungefähre Richtung zu haben.

Danke Franzel

PS: Eine Frage noch.

Solche Loadausbrüche, sind diese als durchaus normal zu bezeichnen? Treten die bei anderen auch auf?

 

[Huschi]

Du solltest vieleicht nochmal nachlesen was der "load" überhaupt für ein Wert ist. (Wikipedia ist Dein Freund.) Dann versteifst Du Dich vieleicht nicht so darauf.
Wichtig ist vorallem eins: Der Server sollte nicht lahmen und (wenns geht) nicht swappen.
Was Dein Apache aushält, kannst Du mit geigneten Tools feststellen. Aber da mußt Du schon selber ein wenig Zeit investieren ins Einlesen und Ausführen der Tests.

huschi.

 

[Franzel]

Ein Mitarbeiter von 1und1 sagte mir, dass ein Load von 1 einer 100% -igen Auslastung entspricht.

Bei meinem Server grenzen die Werte oft an der 1, manchmal drüber. Laut Grafik wären das indem Zeitraum 12:00 bis 18:00 Uhr im Durchschnitt 75%-80% Auslastung, deshalbt macht mir der Load sorgen, aufgrund der Aussagen von 1und1.

 

[Huschi]

Ich weiß, viele Leute hängen sich an den Load-Zahlen auf. Deshalb meine Aufforderung: Ließ es selbst nach!
Der 1&1-Mann hat auch recht: ein Load von 1.0 lastet eine CPU 100%ig aus.
Aber das sagt im Grunde gar nix aus. Laß mal im Windows Deinen Taskmanager mitlaufen. Dann siehst Du auch das ein oder andere Mal volle Ausschläge (100%). Dennoch kannst Du in der zwischenzeit gemütlich weiter arbeiten, oder?

Den Load-Wert darf man niemals getrennt von der Zeit betrachten. Alles andere ist absolut falsch!
Auch ist der Load nicht allein für die Auslastung verantwortlich. Der Flaschenhals ist und bleibt i.d.R. die Festplatte.
Wie gesagt: Lesen, verstehen, umsetzten.

huschi.