Frage, Piwik Analytics

D

Domi

Member
Hallo Leute, ich habe da mal eine etwas andere Frage und hoffe das Ihr mir da mal ein paar Informationen zu geben könnt :)

Es geht um das Analyse-Tool Piwik.. das kann man ja sogar auf seinem eigenen Server / Webspace installieren, aber wie hungrig ist denn diese Software genau? Die Auswertung im Dashboard sieht ja schon sehr umfangreich und nett aus, und ich würde die Software gerne auf einem vServer (Privat) und vielleicht auf unserem root-Server (Firma) laufen lassen.

Aber im Internet stand auch, dass es wohl recht Speicher-hungrig ist, daher bin ich ein Bisschen skeptisch und hoffe, Ihr könnte mir da mal ein paar Informationen zukommen lassen.

Alternativen wie Anormal Tracker, 4stats oder eTracker kenne ich, aber bei diesem System handelt es sich um eine freie Lösung die man sogar auf dem eigenen Server laufen lassen kann um mehrere Domains im Überblick zu haben :)

Gruß, Domi
 
Das ist etwas, dass man so pauschal nicht sagen kann. Ich habe es auf meinem privaten Server für ein paar Webseiten ebenfalls laufen.

Dort ist zwar auch nicht sonderlich viel Traffic, dennoch ist die Datenbank mit 24MB die zweitgrößte auf meinem Webserver. Solange euer/dein Datenbankserver etwas Dampf hat (was er bei Webshops wohl haben dürfte), dann sollte das schon klappen.
 
Last edited by a moderator:
Hm.. Ist ein AMD Phenom(tm) II X6 1055T Processor mit 16GB Ram ausreichend für das System? :D

Es sollen von Piwik ungefähr 80 Domains ge-tracked werden, die uns gehören. Wobei eine ungefähr 370.000 Page-Impressions hat und die zweit größte ungefähr 29.000 Page-Impressions hat.

Persönlich empfinde ich das nicht als besonders viel, aber das sind unsere stärksten beiden Domains die auf dem Analysesystem aufschlagen werden. Wobei ich noch ein wenig den Log im Auge behalten muss, denn irgend etwas von Piwik führt dazu, dass das PHP Limit wohl nicht ausreicht.

Nachtrag: Das ist die Meldung, die ich bekomme....
Code: 
2013 Jan 15 09:18:10 xxxxxx ALERT - configured GET variable value length limit exceeded - dropped variable '_ref' (attacker 'xxx.xxx.xxx.202', file '/srv/vhosts/xxx.de/httpdocs/piwik/piwik.php')
 
Last edited by a moderator:
Ich bin mit etwa 10 Seiten, die täglich Besucher im zweistelligen Bereich haben, bei 300 MB Datenbank. Script läuft seit 2010.

Vielleicht ist ja eine Option für dich das Script zu installieren und dann nach-und-nach die Seiten zu überwachen. Sollte es zu Lastproblemen kommen, wären sie nicht abrupt da und du könntest gegensteuern.
 
Hallo!
Ich betreue zwei Piwik-Instanzen für einen großes Unternehmen, dass darüber einen großen Teil der Zugriffe seiner 300 "Außenstellen" damit auswertet. Und alleine die Mutterseite hatte 2012 3 Millionen Besucher...

Das ganze läuft seit der 1.8er Version ziemlich problemlos, vorher war das Programm immer etwas zickig...

Wo du aufpassen musst:
Die Updates hatten oft einen Umbau der Datenbank zur Folge. Das kostete so viele Ressourcen, dass die gesamte Maschine lahmte und einmal sogar komplett den Dienst quittierte. Wir haben die Updates dann immer Nachts gefahren und das klappte bislang immer problemlos.

Wichtig bei großen Seiten ist natürlich auch die Auto-Archivierung und die Deaktivierung von "Piwik erlauben, die Archivierung zu starten, wenn Berichte im Browser angezeigt werden". Das kann ansonsten Engpässe geben, wenn ein User mit einer großen Seite mal ein paar Wochen seine Statistik nicht aufrufen sollte.


Die Datenbanknutzung ist mit der 19.x eh geringer geworden, habe ich den Eindruck.

System:
Ein virtualisiertes Debian Squeeze (auf VMware) mit 6GB RAM. Piwik läuft auf dem gleichen Server wie die 300 erwähnten Domains. Ich gehe also davon aus, dass die 80 Seiten auf deinem Server ohne Probleme geloggt werden können...

Armin Gips
 
Ich kann die Aussagen der Vorredner im Grunde bestätigen. Betreue auch ein Piwik mit ca. 1.5 Mio PIs. Datenbank ist jetzt knapp über 2G groß. Aber mit aktivierten Cronjob für die Auto-Archivierung erzeugt Piwik im Grunde so gut wie keine Last auf der Kiste.
 
Last edited by a moderator:
Bei großen Installationen führt man nen Update (wohl) am besten mittels Konsole oder Cron mit nem Parameterzusatz aus. Erinnere mich grad daran. Auch für die Auswertung müsste es ne Cronjob-Funktion geben.
 
Das mit dem Cronjob und der Archivierung habe ich noch nicht genau verstanden. Wenn die Daten jetzt archiviert werden, sind sie doch gar nicht mehr zugänglich.. oder wie verhält sich das? :o
 
Okay, den Cronjob gibt es schon seit gestern bei mir.. Er ist zwar noch nicht aktiv, da ich den Sinn noch nicht ganz verstanden habe.. aber er existiert :D

Ich muss dann in den Einstellungen nur noch "Piwik erlauben, die Archivierung zu starten, wenn Berichte im Browser angezeigt werden." umstellen, damit es über den Cronjob läuft.

Aber was genau macht das denn jetzt, und kann ich dann noch immer auf die archivierten Daten zugreifen? :o
 
Mit dem Cronjob werden die Berechnungen der Daten die Piwik durchführt nicht in Echtzeit gemacht (also wenn du das Backend im Browser betrachtest) sondern eben jedes mal wenn der Cronjob läuft. Das ist soweit vorallem bei Seiten mit größeren Mengen an Zugriffen sinnvoll, da die Berechnung teilweise lange dauert. Beim Betrachten müsstest du dann unter Umstängen größere Wartezeiten in Kauf nehmen. Mit Auto Archivierung werden die Daten vorberechnet, sind dann allerdings im Backend nicht 100% in Echtzeit zu sehen, sondern werden dann beispielsweise nur alle 60 Min. aktualisiert. Der Tab "Besucher in Echtzeit ist davon ausgenommen, der ist immer aktuell.
 
Ah.. Okay, jetzt verstehe ich das System.. glaube ich :)
Das ist ja das, was die meisten Analyse-Systeme auch machen.. unter anderem den Besucher-Counter immer im 60min Takt aktualisieren. Was ist denn eine größere Menge an Zugriffen..?

Ist 3.000 Besucher (nicht PI) am Tag schon eine große Menge..?
Dann sollte dich definitiv morgen mal den Cronjob einbinden :)
 
Den Cronjob sollte man generell einsetzen, egal ob wenige oder tausende Besucher. Spätestens bei einem öffentlich zugänglichen Piwik würde man sich sonst Self-DoSen.
 
Okay, ich habe den Cronjob vor 20min angelegt und auch getestet. Ich habe den Cronjob erst einmal im 5min Tackt laufen lassen zum testen, und das funktionierte. Nun habe ich wie in der Beschreibung, den einen Wert auf "nein" gesetzt und auf "3600 Sekunden" gestellt. Der Cronjob wird wieder in jeder Stunde zur fünften Minute ausgeführt und ich bin gespannt was morgen passiert :)

Aber selbst das umstellen, lädt mein Dashboard blitzschnell :D

Nachtrag: So, es scheint alles zu funktionieren und ich bin glücklich :) Wer von Euch hat denn auf seinem eigenen Server Piwik und bekommt Konsolenmeldungen?
MOD: Bilder bitte immer als Anhang. Danke!

Ich hatte das ganze hier schon mal angesprochen, weil mir der Alert auf die Eier geht.. aber anscheinend weiß auch keiner wirklich was. Zumal selbst das Ausführen des Cronjobs einen Alert hervorruft.

Falls es hilft, Ich habe die aktuellste PHP Version + Suhosin bei mir drauf. Ob es jetzt Patch oder Extension ist, weiß ich nicht 100%ig, aber ich gehe vom Patch aus, da Suhosin automatisch beim installieren von PHP mit installiert wurde.
 

Attachments

  • putty01.jpg
    putty01.jpg
    83.2 KB · Views: 190
Last edited by a moderator:
Also "ps aux" und "ps aux | grep tail" haben keinen tail ausgegeben :o

Code: 
2013 Jan 18 10:38:47 xxx ALERT - configured GET variable value length limit exceeded - dropped variable r 'xxx', file '/srv/vhosts/xxx.de/httpdocs/piwik/piwik.php')
2013 Jan 18 10:39:34 xxx ALERT - configured GET variable value length limit exceeded - dropped variable ker 'xxx', file '/srv/vhosts/xxx.de/httpdocs/piwik/piwik.php')

2013 Jan 18 11:05:13 xxx ALERT - script tried to increase memory_limit to 805306368 bytes which is above the allowed value (attacker '127.0.0.1', file '/srv/vhosts/xxx.de/httpdocs/piwik/core/Piwik.php', line 1035)
2013 Jan 18 11:05:13 xxx ALERT - script tried to increase memory_limit to 805306368 bytes which is above the allowed value (attacker '127.0.0.1', file '/srv/vhosts/xxx.de/httpdocs/piwik/core/Piwik.php', line 1035)
Hier ist noch mal der aktuellste Auszug. Die ersten paar sind Zugriffe über die Analyse die ich auf der Seite selbst eingebaut habe. Und das zweite Paar ist der Server selbst beim Cronjob gewesen. Das zweite Alert ist verständlich, PHP hat nur 512MB memory_limit bekommen, dass könnte ich auf 1024MB hoch drehen, dann dürfte das gegessen sein. Aber was mache ich mit dem ersten Alert..?
 
Last edited by a moderator:
Ich probiere es noch mal, aber regulär hat nichts funktioniert was ich in der "/etc/php5/conf.d/suhosin.ini" verändert hatte.. und das ist auch sehr speziell :o

Nachtrag1: Okay, wenn ich das richtig gesehen habe, kann ich es auch in der "/etc/apache2/sites-available/domain.de" für die virtuelle Domain eintragen... mal schauen ob noch was kommt. Habe auch gleich das memory_limit angepasst...
-> php_value memory_limit 1024M
-> php_value suhosin.get.max_value_length 512

Nachtrag2: So, der Cronjob funktioniert, ich habe den suhosin Wert auf 600 angehoben und nun scheint alles ruhig zu sein. Allerdings verschwinden nach einer Ausführung vom Cronjob alle Werte.. z.b. habe ich sechs Webseiten eingebunden die je Seite ungefähr 40 Besucher hatten in den letzten 5 Tagen und auf einmal steht überall 0 :(
 
Last edited by a moderator:
So, nach einiger Zeit muss ich auch mal wieder anfragen zum Thema PIWIK :D
Es geht um folgendes Phänomen, ich habe zwei identisch eingerichtete Systeme mit ISPConfig, der eine ist ein vServer der andere ein root-Server!

Nun habe ich den Piwik von meinem vServer auf den root-Server verschoben. Jetzt kommt das Problem... wenn ich auf die Gesamtübersicht aller im System eingetragenen Domains klicke, dauert es ca. 50 Sekunden bis etwas passiert... selbst im access.log wird erst nach 55 Sekunden mein GET vom Browser erfasst! Auf meinem vServer dauert es 2 Sekunden und ich verstehe das Problem nicht.

Kann mir jemand sagen, woran das liegen könnte?
Ich möchte nämlich gerne meinen Piwik komplett transferieren.
 
You must log in or register to reply here.
Back
Top