Spamassassin-Training

Leyton4114 · Feb 7, 2008

Hallo zusammen,
ich hoffe mal, dass ich einen ähnlichen Beitag nicht überlesen hab...

Wenn man keinen Spamfilter eines Webhosters vor dem Konto hat, merkt man garnich, was man so fürn Müll bekommt

Ich hab Plesk 8.3 drauf und Spamassassin drauf, welchen ich für dem Müll nutzen wollte. Habe mich dann ein wenig durchgelesen im Netz und die local.cf entsprechend manuell so angepasst, dass der bayes_auto_learn auf 1 steht und die Punktezahl auf 5.00 gestellt, so wie es empfohlen war.

Habe dann zusätzlich per Hand in Plesk das Training laufen lassen und bis jetzt erstma so ~200 Mails gefilert. Nur irgendwie sehe ich keine Ergebnisse. Neue Spam-Mails werden nicht gelöscht, geschweige denn in dem Training als "Spam" markiert.

Ich weiss garnich, ob die Änderungen an dem cf-File übernommen wurden. Die Mails scheinen aber durch den Filter gegangen zu sein, da im Header ein entsprechender Vermerk ist.

Was mach ich falsch ?

LEy'

Huschi · Feb 7, 2008

Da dies die einzige Frage hier ist antworte ich auch nur darauf:

Leyton4114 said:
Was mach ich falsch ?

Du gibst zu wenig Informationen.

Was fehlt ist z.B.:
- Wie sieht die local.cf aus?
- Wie sieht der Mailheader (von einer Spam) aus?
- Wie ist SA eingebunden?
- Was steht in den Logfiles?

huschi.

Leyton4114 · Feb 7, 2008

Huschi said:
- Wie sieht die local.cf aus?

Code:

# SpamAssassin config file for version 3.x
# NOTE: NOT COMPATIBLE WITH VERSIONS 2.5 or 2.6
# See http://www.yrex.com/spam/spamconfig25.php for earlier versions
# Generated by http://www.yrex.com/spam/spamconfig.php (version 1.50)

# How many hits before a message is considered spam.
required_score           7.5

# Change the subject of suspected spam
rewrite_header subject         *****SPAM*****

# Encapsulate spam in an attachment (0=no, 1=yes, 2=safe)
report_safe             1

# Enable the Bayes system
use_bayes               1

# Enable Bayes auto-learning
bayes_auto_learn              1

# Enable or disable network checks
skip_rbl_checks         0
use_razor2              1
use_dcc                 1
use_pyzor               1

# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_languages            all

# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales              all

- Wie sieht der Mailheader (von einer Spam) aus?

Code:

Content-Type:   	 multipart/alternative; boundary="--------=_NextPart_000_000B_01C86999.24E02040"
Date:  	Thu, 7 Feb 2008 14:53:04 -0800 [23:53:04 CET]
From:  	Rose putzke <[email protected]> France
MIME-Version:  	1.0
Message-ID:  	<000f01c869dc$33036040$fed43a18@YOURD494E737D3>
Received:  	

    * (qmail 7472 invoked from network); 7 Feb 2008 23:53:06 +0100
    * from cpe-24-58-212-254.twcny.res.rr.com (24.58.212.254) by <mein_server> with SMTP; 7 Feb 2008 23:53:05 +0100

Received-SPF:  	none (mein_server: domain at abc-deco.fr does not designate permitted sender hosts)
Subject:  	This Valentine's Day, give your sweetheart what she's been craving.
To:  	<meine_email_adresse>
X-MSMail-Priority:  	Normal
X-Mailer:  	Microsoft Outlook Express 6.00.2900.3138
X-MimeOLE:  	Produced By Microsoft MimeOLE V6.00.2900.3198
X-Priority:  	3
X-Spam-Checker-Version:  	SpamAssassin 3.1.7-deb (2006-10-05) on <mein_server>
X-Spam-Level:  	******
X-Spam-Status:  	No, score=6.3 required=10.0 tests=HELO_DYNAMIC_DHCP, HELO_DYNAMIC_IPADDR,HTML_MESSAGE,MIME_BOUND_NEXTPART autolearn=no version=3.1.7-deb
Part(s):  	Download All Attachments (in .zip file) Download All Attachments (in .zip file)

- Wie ist SA eingebunden?

Habe Plesk manuell auf einem frischen Debian installiert und während der Install dann alles Komplett mit reingenommen. Lizenz für SA ist von meinem Hoster...

- Was steht in den Logfiles?

Wo ist das genau abgelegt ?

LEy'

Huschi · Feb 7, 2008

Logfiles findest Du immer unter /var/log/. Maillogs heißen meistens etwas mit "mail" an Anfang.
SA ist also von Plesk? Dann ist er in den jeweiligen .qmail-Dateien. Überprüfe es!

Fehlt noch immer ein Mailheader...

huschi.

Leyton4114 · Feb 7, 2008

Header ist drin...

LEy'

Huschi · Feb 8, 2008

X-Spam-Status: No, score=6.3 required=10.0 tests=HELO_DYNAMIC_DHCP, HELO_DYNAMIC_IPADDR,HTML_MESSAGE,MIME_BOUND_NEXTPART autolearn=no

a) Dein required-Wert ist mit 10.0 natürlich sehr Hoch. Wenn eine Email schon eine 6.3 erreicht darf sie bereits als Spam eingeordnet werden.
b) Es findet kein Bayes-Check statt. Ergo würde ich sagen: Du hast das wichtigste Feature von SA nicht aktiviert.

huschi.

Leyton4114 · Feb 8, 2008

Huschi said:
a) Dein required-Wert ist mit 10.0 natürlich sehr Hoch. Wenn eine Email schon eine 6.3 erreicht darf sie bereits als Spam eingeordnet werden.

Wie ich oben bereits geschrieben habe, setzte ich den Wert bisher auf 5.00 gehabt und nur bei dem Test mal etwas höher angelegt.

b) Es findet kein Bayes-Check statt. Ergo würde ich sagen: Du hast das wichtigste Feature von SA nicht aktiviert.

Der bayes sollte eigentlich aktiv sein,jedenfalls hab ich es in dem cf-file aktiviert, würde ich mal sagen..oder fehlt da noch was ?

Code:

# Enable the Bayes system
use_bayes               1

LEy'

Huschi · Feb 8, 2008

a) Da steht eindeutig "required=10.0". Kannst Du nicht wirklich verleugnen, oder?

b) Im Mail-Header steht nichts mit BAYES . Ebenfalls nicht zu verleugnen.

Um auf Deine Ausgangsfrage zurück zu kommen:

Was mach ich falsch ?

Du sagst nicht, was Du gerne möchtest. Was ist Dein Ziel?

Ob da noch was fehlt, können wir also nicht wissen, da wir Dein Ziel nicht kennen.

huschi.

Leyton4114 · Feb 8, 2008

Ich will, dass der Spam gefiltert wird und ich nicht mehr davon belästigt wird. Dass der Bayers nicht funzt, hab ich auch schon mitbekommen, daher war meine Frage,was ich da falsch eingestellt hab, dass dieser nicht reagiert.

LEy'

Huschi · Feb 8, 2008

Gut. Also nur mal die Basics:
Bayes nutzt eine eigene Datenbank. Diese nennen wir Bayes-DB.
Diese Bayes-DB kann entweder global angelegt werden, dann steht sie in der local.cf. Oder pro Mailbox und dann liegt sie unter /var/qmail/mailnames/DOMAIN/USER/.spamassassin/.
In diesem Verzeichnis liegt häufig auch eine eigene local.cf.

Nun braucht der Bayes aber 200 Spam- und 200 Ham-Tokens um arbeiten zu können. Solange läuft Bayes nicht.
Es gibt generell 2 Methoden um die Bayes-DB zu füttern:
a) Spam-Mailboxen per sa-learn anlernen.
b) Mit auto-learn warten bis genug Mails aufgelaufen sind. Hierfür müssen aber erstmal die Schwellwerte so niedrig wie möglich eingestellt werden, damit Spam grundsätzlich mal erkannt wird und dann auch als automatisch angelernt werden.

Deine nächsten Schritte sind:
- Globale oder lokale Bayes-DB?
- Gibt es bereits lokale Bayes-DB's?
- Gibt es bereits lokale local.cf's?

huschi.

alphalogic · Feb 9, 2008

Du musst die local.cf editieren:

Code:

vi /etc/mail/spamassassin/local.cf

und folgende einstellungen vornehmen (siehe SpamAssassin: sa-learn anlernen - huschi.net )

Code:

# use Bayes-Filter
use_bayes 1
bayes_path /var/spool/spamassassin/bayes
bayes_file_mode 777
# auto-learn einschalten
#fuer Version 2.x:
auto_learn 1
#ab Version 3.0:
bayes_auto_learn 1

danach:

Code:

sa-learn --sync

Gruß Flo

maxxm · Mar 9, 2008

Ähnlich

Hallo Flo, Hallo Huschi,

vielen Dank für Euren Beitrag, ich habe ein ähnliches Problem it dem SA.
Laufen tut die Sache soweit, allerdings hatte ich die gleiche local.cf wie oben, Bayes war =1, allerdings im Header auf 0.

Habe dann die Anweisungen von Flo bzw. von Huschis Link befolgt und die local.cf um den Bayes-Pfad und File-Mode erweitert.

Meine Local.cf sieht nun so aus:

Code:

# Add your own customisations to this file. See 'man Mail::SpamAssassin::Conf'
# for details of what can be tweaked.
# 
 
 
# do not change the subject
# to change the subject, e.g. use
# rewrite_header Subject ****SPAM(_SCORE_)****
#rewrite_header Subject
 
# Set the score required before a mail is considered spam.
# required_score 5.00
 
# uncomment, if you do not want spamassassin to create a new message
# in case of detecting spam
# report_safe 0
 
# How many hits before a message is considered spam.
required_score 5.0
 
# Change the subject of suspected spam
rewrite_header subject ***SPAM***
 
# Encapsulate spam in an attachment (0=no, 1=yes, 2=safe)
report_safe 1
 
# Enable the Bayes system
use_bayes 1
bayes_path /var/spool/spamassassin/bayes
bayes_file_mode 777
 
# Enable Bayes auto-learning
bayes_auto_learn 1
 
# Enable or disable network checks
skip_rbl_checks 0
use_razor2 1
use_dcc 1
use_pyzor 1
 
# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_languages all
 
# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales all

Allerdings steht jetzt im Header bei auto learn nicht mehr =no (wie vorher) sondern failed!

Code:

Return-Path: <[email protected]> 
X-Original-To: [EMAIL="[email protected]"][email protected][/EMAIL] 
Delivered-To: [EMAIL="[email protected]"][email protected][/EMAIL] 
Received: by vsxxxxxx.vserver.de (Postfix, from userid 65002) 
id 7895960E08A0; Sun, 9 Mar 2008 13:22:22 +0100 (CET) 
Received: from mail.gmx.net (mail.gmx.net [213.165.64.20]) 
by vsxxxxx.vserver.de (Postfix) with SMTP id 2CB1060E088A 
for <[email protected]>; Sun, 9 Mar 2008 13:22:22 +0100 (CET) 
Received: (qmail 22404 invoked by uid 0); 9 Mar 2008 12:22:25 -0000 
Received: from 62.158.97.190 by www042.gmx.net with HTTP; 
Sun, 09 Mar 2008 13:22:24 +0100 (CET) 
Content-Type: text/plain; charset="us-ascii" 
Date: Sun, 09 Mar 2008 13:22:24 +0100 
From: "MM" <[email protected]> 
Message-ID: <[email protected]> 
MIME-Version: 1.0 
Subject: Fwd: 73% discount. Code #78NG 
To: [EMAIL="[email protected]"][email protected][/EMAIL] 
X-Authenticated: #800385 
X-Flags: 0001 
X-Mailer: WWW-Mail 6100 (Global Message Exchange) 
X-Priority: 3 
X-Provags-ID: V01U2FsdGVkX1/QIdd4X9DQvY6W0E+bij15vEKl8IEzniQQMSqBcn 
rGFwF6M3L8s/EbRiCMenL+kvmavVwmV1xQMg== 
Content-Transfer-Encoding: 7bit 
X-GMX-UID: 4bq4L6pdTlI8WulTe2hrWTlOU2poZdl6 
X-Spam-Checker-Version: SpamAssassin 3.0.2 (2004-11-16) on vsxxxxxx.vserver.de 
X-Spam-Level: 
X-Spam-Status: No, score=0.0 required=5.0 tests=none autolearn=failed 
version=3.0.2 
X-UIDL: g`j!!eg"#!3LU!!Y'R!! 
Status: RO

Vielleicht könntet ihr mir sagen, was ich machen muss damit der Bayes-Test funktioniert.
Ich habe auch das Problem, dass der SA zu wenig Mails erkennt und eben zuviele davon in den Postfächern landen.

Vermute aber, dies lässt sich mit einem funktionierenden Lern-Prozess beheben.

Vielen Dank für Eure Antworten.

Beste Grüße

Max

MOD : Bitte CODE Tags nutzten. Danke.

Huschi · Mar 9, 2008

maxxm said:
Bayes war =1, allerdings im Header auf 0.

Ist nicht das selbe, daher keine Aussage.

bayes_path /var/spool/spamassassin/bayes

Existiert das Verzeichn /var/spool/spamassassin und ist für den MDA les- und schreibbar?

X-Spam-Status: No, score=0.0 required=5.0 tests=none autolearn=failed

autolearn=failed läßt darauf schließen, daß Dein SA noch eine Kleinigkeit zur Benutzung des Bayes-Filter braucht.

Probier doch mal einen einfachen "sa-learn --dump magic".

huschi.

maxxm · Mar 9, 2008

Hallo Huschi,

vielen Dank für die Hilfe

Okay....Wert in der local = 1 und das im Header mit autolearn variiert von Email zu Email...soviel hab ich mich schon weitergebildet...
Vielen Dank

Verzeichnis /var/spool/spamassassin existiert.

Benutzerrechte sind auf 0775 (ich habe in einem anderen Post gelesen, dass Du diesen Ordner angibst, weil er die notwendigen Rechte erfüllt

, hoffe das passt also so...rwxr -xr -x / Besitzer: root / in Zahlen: 0755

Befehl sa-learn --dump magic liefer folgendes:

0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 0 0 non-token data: nham
0.000 0 0 0 non-token data: ntokens
0.000 0 0 0 non-token data: oldest atime
0.000 0 0 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync ati
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime del
0.000 0 0 0 non-token data: last expire reductionunt

Also...nichts

Ich hatte zwischendurch den Bayes-Pfad mal geändert, weil sich in dem Ordner SPAM-Assassin unter /var/spool bereits die beiden tokens befanden.

Deshalb hat er im Header vorhin auch "failed" geschrieben.

Mit geändertem Pfad kommt jetzt aber im Header wieder:
X-Spam-Status: Yes, score=5.9 required=5.0 tests=DATE_IN_FUTURE_24_48,
HELO_DYNAMIC_DHCP,HTML_50_60,HTML_MESSAGE,INVALID_DATE autolearn=no
version=3.0.2

Habe in der local.cf aber den Wert, ab dem "gelernt" werden soll auf 5 gesetzt:
bayes_auto_learn_threshold_spam 5.0

Irgendo hängts...leider komme ich nicht weiter und kann mir ehrlich gesagt auch beim lesen der anderen postings zum thema bayes und SA noch nicht genau erklären...

Was sind denn noch Fehler, die die DAU's so machen können?
Vielen Dank für Deine Hilfe.

Huschi · Mar 9, 2008

maxxm said:
Benutzerrechte sind auf 0775 (ich habe in einem anderen Post gelesen, dass Du diesen Ordner angibst, weil er die notwendigen Rechte erfüllt ,

Da ich Dein System nicht kenne, kann ich nicht sagen, ob das reicht...

Habe in der local.cf aber den Wert, ab dem "gelernt" werden soll auf 5 gesetzt:

Und SA neu gestartet...?

Füllt sich die Bayes-DB denn langsam?

huschi.

maxxm · Mar 9, 2008

Also ich hab die beiden Dateien in /var/spool/spamassassin mal angeschaut,
der letzte Zugriff ist zwar von heute 09.03., allerdings von 13:07

SA neugestartet - sa-learn --dump magic
Leider keine Veränderung:

0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 0 0 non-token data: nham
0.000 0 0 0 non-token data: ntokens
0.000 0 0 0 non-token data: oldest atime
0.000 0 0 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction count

Woran liegt denn das? Ich bin echt mim Latein am Ende, hab jetzt denke ich alles so gemacht, wie es hier an Vorschlägen und Ideen zu finden war...

Daaaanke

Huschi · Mar 9, 2008

Liegt dort auch eine Journal-Datei?
Oder hast Du in den User-Verzeichnissen ein weitere ".spamassassin"-Verzeichnis?

huschi.

maxxm · Mar 9, 2008

Leider keine weiteren Dateien, außer die beiden bayes_seen & bayes_toks

In /usr/bin bzw. /usr/sbin findet er zwar noch ein paar mal was mit spamd, da sind allerdings keine Verzeichnisse dabei...

Huschi · Mar 9, 2008

Da Du noch rein gar nichts zu Deinem System erzählt hast, kann ich Dir auch nicht sagen, wo Du evtl. noch suchen könntest.

huschi.

maxxm · Mar 9, 2008

Ein vSERVER Medium X2 bei S4U mit SUSE Linux 9.3 und Control-Panel Confixx Premium Edition 1.0.3

SA Version: SpamAssassin 3.0.2 (2004-11-16) mit RPM installiert.

Wir hatten das OS neu installiert, da war SA standardmäßig mit dabei.
Dann - frag bitte nicht wieso - wurde SA runtergeworfen, danach neu installiert und eingebunden. Soweit so gut, scheint zu laufen, nur eben Bayes geht nicht mehr.

Man merkts daran, dass eben nur sehr wenige Mails tatsächlich markiert werden, der Großteil landet somit direkt im Postfach...

Musst Du sonst noch was wissen? Ich bin leider auch kein so ganz Großer im Bereich Linux - das hat man wahrscheinlich schon gemerkt

Vielen Dank.

Gruß

Max

Spamassassin-Training

Member

Moderator

Member

Moderator

Member

Moderator

Member

Moderator

Member

Moderator

Registered User

New Member

Moderator

New Member

Moderator

New Member

Moderator

New Member

Moderator

New Member