Apache Logfiles verbinden ...

[CyberLine]

Hab heute mal schnell mit Pound und 3 Servern nen Webcluster gebastelt.

Problem: wie krieg ich die Logfiles der 3 Server wieder auf einen Server und in Chronologischer Reihenfolge zusammengesetzt ?

 

[Huschi]

Es gibt bestimmt auch fertige Lösung dafür, aber ich würde es so angehen:
Jeweils bei CustomLog / ErrorLog ein Perl-Script eingeben.
Dieses baut beim Aufruf eine TCP-Verbindung zu einem zentralen Server auf, wo ein kleiner Perl-Daemon lauscht, und einfach alle einkommenden Meldungen in eine Zentrale Datei speichert.

Alternativ könnte man natürlich auch UDP-Pakete nutzten. Hätte den Vorteil, daß man keine Verbindungsabrüche behandeln müsste. Es könnten aber auch mal ein paar Einträge verloren gehen.

Weiterhin empfielt es sich, die Daten dennoch (zusätzlich) local zu speichern.

huschi.

 

[sebast]

Sowas kann man recht leicht mit Perl lösen, da gibt es unter google viele Beispiele! Ansonsten, würde ich einfach ein zentralen Logserver aufbauen!

 

[CyberLine]

Zentrale lösungen fallen aus weil ich genau aus diesem Grund den Cluster benötige, damit eben nicht mehr alles Zentral ist

Ich hatte überlegt die logfiles der Clusterserver über die jeweilige logrotate einstellung vor dem neu erstellen per rsync auf dem zielsystem abzulegen und dort im logrotate ein script einzufügen was die logfiles mergt und dann das statistiktool startet.

Könnte funhktionieren oder ?

 

[Huschi]

per rsync auf dem zielsystem abzulegen

Per scp oder rsync? rsync überschreibt im Zweifelsfall.
Zielsystem == zentraler/haupt Server?
Oder wie definierst Du den Unterschied?

was die logfiles mergt

Mergen ist bei den meisten Analysetools gar nicht nötig. Es reicht, wenn ein Logfile nach dem anderen rein kommt.
Aber da kommt es eben auf das Tool drauf an.

huschi.

 

[CyberLine]

Per scp oder rsync? rsync überschreibt im Zweifelsfall.

kann doch mit rsync nen anderen namen vergeben aufm zielsystem oder irre ich mich da ?

Zielsystem == zentraler/haupt Server?
Oder wie definierst Du den Unterschied?

Zielsystem = Hauptserver auf dem auch Pound läuft.

Mergen ist bei den meisten Analysetools gar nicht nötig. Es reicht, wenn ein Logfile nach dem anderen rein kommt.
Aber da kommt es eben auf das Tool drauf an.

huschi.

Awastats kann das glaub ich