Programm zur Traffic Auswertung

Lord_Icon

Lord_Icon

Member
Hi,

ich habe einige Homepages, wo ich gern wissen würde, welche am meisten Traffic verursacht.

Diese sind ja in ....

/srv/www/htdocs/ks123 = HP 1
/srv/www/htdocs/ks124 = HP 2
/srv/www/htdocs/ks125 = HP 3
/srv/www/htdocs/ks126 = HP 4
...
...

gespeichert
Das Programm müste also den "Verkehr" messen, die aus diesen Ordnern kommt.

Gibt es so etwas ?

Habe NTOP am laufen. Dieser zeigt mir aber nur die gesamte Traffic Lesitung, die über eth0 läuft.
 
Den hatte ich heute installiert, weil ich keine wirkliche Demo Seite finden kann.

Aber das ist auch nicht das wahre.

Gibt es denn keine Möglichkeit / Programm was den Traffic ungefähr so aussieht ?

/srv/www/htdocs/ks123 = 125 MB Input / 547 Output
/srv/www/htdocs/ks124 = 285 MB Input / 356 Output
/srv/www/htdocs/ks125 = 558 MB Input / 548 Output
/srv/www/htdocs/ks126 = 152 MB Input / 256 Output


irgendwie so halt.
 
Wenn du mit diesen beiden nicht zufrieden bist und wirklich was ganz spezielles/einfaches suchst, dann leg doch selber Hand an und bau dir ein kleines Tool dafür.
 
Aus aktuellem Anlass hab ich beschlossen mal ein altes Script zu veröffentlichen:
Apache: Domain-Statistiken

Vielleicht ist es ja das, was Du suchst.
Es zieht sich die Daten aus den jeweiligen access_log-Dateien. D.h. es wird lediglich der ausgehende Traffic ohne Overhead gezählt.

huschi.
 
Schön dich mal wieder in einen meiner Threads wiederzusehen... @ Huschi :D

Allerdings muß ich jetzt mal fragen,weil es es nicht aus dein Howto erkennen kann.

Verwenden tu ich Apache2.
Dann sollte folgendes überflüssig sein (?)
cpan -i Apache::ConfigFile

Oder wird dies von Apche2 auch benötigt.

hast du ein Startbefehl zur Hand ?
Habe noch nicht wirklich begriffen wie man was erzeugt.

Thx
 
@Firewire:
Du wiederholst Dich. :(
Lord Helmchen hat doch klar dargelegt was er gerne haben möchte.

Ich habe vergessen anzugeben, was dieses Tool eigentlich erzeugt: (hier ein CSV)
Code: 
"2007-05-02";"2007-05-02";"huschi-kino.de";"5394";"4827";"13";"3942";"78029137"
"2007-05-02";"2007-05-02";"huschi-shop.de";"18241";"17761";"4";"17563";"928593341"
"2007-05-02";"2007-05-02";"huschi.de";"105";"51";"0";"33";"310638"
"2007-05-02";"2007-05-02";"huschi.net";"9637";"3904";"22";"1885";"104094138"
Von links nach rechts:
Datum von; Datum bis; Domain; Hits; PageImp.; Errors; Crawler; Bytes

huschi.
 
Habe eine Fehlermeldung.

Code: 
kundensystem:/home/lord_icon/download/httpd_stat-0.1 # cpan -i Apache::ConfigFile
CPAN: Storable loaded ok
CPAN: LWP::UserAgent loaded ok
Fetching with LWP:
  ftp://cpan.mirror.iphh.net/pub/CPAN/authors/01mailrc.txt.gz
LWP failed with code[400] message[FTP return code 000]
Fetching with Net::FTP:
  ftp://cpan.mirror.iphh.net/pub/CPAN/authors/01mailrc.txt.gz
Couldn't fetch 01mailrc.txt.gz from cpan.mirror.iphh.net

Trying with "/usr/bin/ncftpget" to get
    ftp://cpan.mirror.iphh.net/pub/CPAN/authors/01mailrc.txt.gz
01mailrc.txt.gz:                                       127.58 kB    1.49 MB/s
Going to read /root/.cpan/sources/authors/01mailrc.txt.gz
CPAN: Compress::Zlib loaded ok

Trying with "/usr/bin/ncftpget" to get
    ftp://cpan.mirror.iphh.net/pub/CPAN/modules/02packages.details.txt.gz
02packages.details.txt.gz:                             531.10 kB    1.77 MB/s
Going to read /root/.cpan/sources/modules/02packages.details.txt.gz
  Database was generated on Sat, 05 May 2007 14:12:53 GMT

  There's a new CPAN.pm version (v1.9101) available!
  [Current version is v1.7602]
  You might want to try
    install Bundle::CPAN
    reload cpan
  without quitting the current session. It should be a seamless upgrade
  while we are running...


Trying with "/usr/bin/ncftpget" to get
    ftp://cpan.mirror.iphh.net/pub/CPAN/modules/03modlist.data.gz
03modlist.data.gz:                                     130.38 kB    1.59 MB/s
Going to read /root/.cpan/sources/modules/03modlist.data.gz
Going to write /root/.cpan/Metadata
Warning: Cannot install Apache::ConfigFile, don't know what it is.
Try the command

    i /Apache::ConfigFile/

to find objects with matching identifiers.



Programm läßt sich somit auch nicht ausführen:

Code: 
kundensystem:/home/lord_icon/download/httpd_stat-0.1 # ./httpd_stat.pl
Can't locate Apache/ConfigFile.pm in @INC (@INC contains: /usr/lib/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 /usr/lib/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl .) at ./httpd_stat.pl line 15.
BEGIN failed--compilation aborted at ./httpd_stat.pl line 15.
 
Last edited by a moderator:
Ich bin leider nicht für schlecht konfigurierte CPAN-Server zuständig.
Aber wenn Du es eh runterladen konntest, hast Du doch gesehen, daß es nur eine wesentliche Datei enthält: ConfigFile.pm.
Die kann man einfach ins richtige Verzeichnis kopieren und fertig.
Bei mir unter Debian Sarge ist es /usr/local/share/perl/5.8.4/Apache/ConfigFile.pm.
Bei Dir könnte es wohl /usr/lib/perl5/site_perl/5.8.8/Apache/ConfigFile.pm oder /usr/lib/perl5/site_perl/Apache/ConfigFile.pm sein.
Im Zweifelsfall mußt Du das Apache-Verzeichnis anlegen.

huschi.
 
hmm... ne. also wenn ich mir die Fehlermeldung ansehe, dann hat er es schon richtig installiert.

Nur schließt er ja nicht mit einen Fehlenden Pfad ab, sondern, das er apache::config nicht kennt

Code: 
Warning: Cannot install Apache::ConfigFile, don't know what it is.


Die möglichen Pfade habe ich übrigens alle nicht.
/usr/lib/perl5/site_perl/5.8.8/ = dann Ende
/usr/lib/perl5/site_perl/ = dann Ende

Ich habe aber Sicherheihtshalber beide Pfade angelegt. Ich denke mal, das du das damit meintest:
Im Zweifelsfall mußt Du das Apache-Verzeichnis anlegen.

Ein erneutes Ausführen bringt ja "nur" noch:

Code: 
kundensystem:~ # cpan  -i Apache::ConfigFile
CPAN: Storable loaded ok
Going to read /root/.cpan/Metadata
  Database was generated on Sun, 06 May 2007 18:10:20 GMT
Warning: Cannot install Apache::ConfigFile, don't know what it is.
Try the command

    i /Apache::ConfigFile/

to find objects with matching identifiers.
 
Das heißt es läuft jetzt, oder?

Mmmh, beim testen auf einen anderen Server mußte ich feststellen, daß ConfigFile sich tatsächlich nicht per CPAN installieren läßt. Seltsam, da es im CPAN ja eigentlich vorhanden ist... :(

Vielleicht hab ich ja mal Zeit es auf Apache::ConfigParser umzuschreiben.
Dafür muß natürlich eine entsprechende Nachfrage da sein... :)

huschi.
 
Ebend nochmal getestet. Nicht das ich was falsches sage...

Aber nein. Es bleibt dabei => funzt nicht.
Hätte mich auch gewundert. Weil es wurden zwar Packete runtergeladen, aber wurde ja mit Fehler abgebrochen.

Unabhängig davon dein Script mal gestartet. Fehler sind aber genau die gleichen. (also auch ohne CPAN Patch)

Code: 
kundensystem:/home/lord_icon/download/httpd_stat-0.1 # ./httpd_stat.pl
Can't locate Apache/ConfigFile.pm in @INC (@INC contains: /usr/lib/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 /usr/lib/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl .) at ./httpd_stat.pl line 15.
BEGIN failed--compilation aborted at ./httpd_stat.pl line 15.
 
Huschi said:
Aber wenn Du es eh runterladen konntest, hast Du doch gesehen, daß es nur eine wesentliche Datei enthält: ConfigFile.pm.
Die kann man einfach ins richtige Verzeichnis kopieren und fertig.
Click to expand...
Das hast Du aber nicht ausprobiert, oder? :(

Aber wenn Dir das alles zu viel ist, dann laß es halt.
Mußt halt warten bis ich das andere Modul eingebunden hab.

huschi.
 
Ja und nein. War mir schon klar. Nur habe ich diese Datei noch nicht.

Code: 
kundensystem:~ # find . / -name *ile*.pm

/home/lord_icon/download/libwww-perl-5.805/lib/LWP/Protocol/file.pm
/home/lord_icon/download/libwww-perl-5.805/lib/LWP/DebugFile.pm
/home/lord_icon/download/libwww-perl-5.805/lib/WWW/RobotRules/AnyDBM_File.pm
/home/lord_icon/download/awstats-6.6/wwwroot/cgi-bin/plugins/hashfiles.pm
find: WARNING: Hard link count is wrong for /: this may be a bug in your filesystem driver.  Automatically turning on find's -noleaf option.  Earlier results may have failed to include directories that should have been searched.
/root/.cpan/build/mod_perl-1.30/File/File.pm
/root/.cpan/build/mod_perl-1.30/blib/lib/Apache/File.pm
/srv/www/cgi-bin/plugins/hashfiles.pm
/srv/www/htdocs/ks011/html/module/awstats/wwwroot/cgi-bin/plugins/hashfiles.pm
/srv/www/htdocs/webalizer/awstats-6.6/wwwroot/cgi-bin/plugins/hashfiles.pm
/usr/share/sax/profile/Profile.pm
/usr/share/sax/modules/create/files.pm
/usr/share/awstats/plugins/hashfiles.pm
/usr/X11R6/share/fvwm/perllib/General/FileSystem.pm
/usr/lib/perl5/5.8.8/AnyDBM_File.pm
/usr/lib/perl5/5.8.8/Digest/file.pm
/usr/lib/perl5/5.8.8/FileCache.pm
/usr/lib/perl5/5.8.8/FileHandle.pm
/usr/lib/perl5/5.8.8/Memoize/AnyDBM_File.pm
/usr/lib/perl5/5.8.8/Memoize/ExpireFile.pm
/usr/lib/perl5/5.8.8/Memoize/NDBM_File.pm
/usr/lib/perl5/5.8.8/Memoize/SDBM_File.pm
/usr/lib/perl5/5.8.8/Tie/File.pm
/usr/lib/perl5/5.8.8/filetest.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/DB_File.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/IO/File.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/GDBM_File.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/NDBM_File.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/ODBM_File.pm
/usr/lib/perl5/5.8.8/x86_64-linux-thread-multi/SDBM_File.pm
/usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi/DBD/File.pm
/usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi/DBI/Profile.pm
/usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi/DBI/ProfileData.pm
/usr/lib/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi/DBI/ProfileDumper.pm
/usr/lib/perl5/vendor_perl/5.8.8/URI/file.pm
/usr/lib/perl5/vendor_perl/5.8.8/Archive/Zip/BufferedFileHandle.pm
/usr/lib/perl5/vendor_perl/5.8.8/Archive/Zip/MockFileHandle.pm
/usr/lib/perl5/vendor_perl/5.8.8/Archive/Tar/File.pm
/usr/lib/perl5/vendor_perl/5.8.8/IO/AtomicFile.pm
/usr/lib/perl5/vendor_perl/5.8.8/IO/InnerFile.pm
/usr/lib/perl5/vendor_perl/5.8.8/Mail/Mailer/testfile.pm
/usr/lib/perl5/vendor_perl/5.8.8/Mail/SpamAssassin/Logger/File.pm
/usr/lib/perl5/vendor_perl/5.8.8/Mail/Mailer.pm
/usr/lib/perl5/vendor_perl/5.8.8/MIME/Parser/Filer.pm
/usr/lib/perl5/vendor_perl/5.8.8/LWP/Protocol/file.pm
/usr/lib/perl5/vendor_perl/5.8.8/LWP/DebugFile.pm
/usr/lib/perl5/vendor_perl/5.8.8/WWW/RobotRules/AnyDBM_File.pm
/usr/lib/rpm/Specfile.pm

Die einzigstes Datei, die mit den apachen aufgelistet war, ist diese
/root/.cpan/build/mod_perl-1.30/blib/lib/Apache/File.pm
Aber die kann es wohl unmöglich sein.

Aber wenn Dir das alles zu viel ist, dann laß es halt.
Click to expand...
Nö.. ist es nicht. Hab mir auch schon die Arbeit mit Google gemacht. Aber da ist gleich garnichts zu finden.

Aber ansonsten warte ich, bis Realase 2 rauskommt ^^
Gibt es da schon einen Termin :rolleyes:

Danke
 
Lord_Icon said:
Ja und nein. War mir schon klar. Nur habe ich diese Datei noch nicht.
Click to expand...
Du hast doch gesagt, Du konntest sie mit der Hand runterladen?
Muß ich noch Deine Maus und Tastatur bedienen, damit Du es auf die Reihe kriegst?
Ist das wirklich zuviel verlangt von einem Server-Admin einfach mal ne Datei runterzuladen, auszupacken und in ein bereits von mir genanntes Verzeichnis zu kopieren?
Code: 
wget http://search.cpan.org/CPAN/authors/id/N/NW/NWIGER/Apache-ConfigFile-1.18.tar.gz
tar xzf Apache-ConfigFile-1.18.tar.gz
#den genannten Patch umsetzen (dazu die Datei lesen und verstehen)
cp Apache-ConfigFile.pm /usr/lib/perl5/site_perl/apache/
...und jetzt ist meine Geduld am Ende!

Gibt es da schon einen Termin :rolleyes:
Click to expand...
Nein, meine laufenden Server konnten die Datei alle von CPAN runter laden.

huschi.
 
You must log in or register to reply here.
Back
Top