Wie Spam-Filter funktionieren und False-Positives vermieden werden

News

Member
Interview mit Nils Decker, Spam Experts

Beim letzten MAAWG-Meeting in Barcelona, wo knapp eine Woche lang eifrig über Anti-Spam-Strategien diskutiert wurde, hatte René Kulka von Optivo unter anderem die Gelegenheit, mit unserem CMO zu sprechen. Das Interview ist unten veröffentlicht:

RK: Während dem night out am letzten Abend der MAAWG hatte ich die Gelegnheit mit SpamExperts CMO Nils Decker zu sprechen. Der war vor Ort gefühlt nicht nur der Einzige, der perfekt Spanisch sprach und sich vorm Biss beim Personal nach dem Inhalt der Tapas erkundigen konnte. Er kennt sich darüber hinaus auch – als Hersteller – optimal mit Spam-Filtern aus. Grund genug, ihm einige Insights zu entlocken und ggf. ein paar “Mythen” auszuräumen…

RK: Du arbeitest also in einem Team von “Spam-Experten”?

ND: Richtig, ja. Wir bekommen zwar häufiger die Frage, ob wir gut mit dem Versenden von Spams sind, dass sind wir aber natürlich nicht . Unsere Firma beschäftigt sich hauptsächlich mit dem Filtern von unerwünschten, massenhaft versandten E-Mails. In erster Linie tun wir das für ISPs/Hosting Betriebe sowie KMU in Europa und Übersee. Neben einem eingehenden Spamfilter bietet SpamExperts auch noch einen ausgehenden Filter an, der Versender vor Blacklists beschützt, sowie ein E-Mail Archivierungsprodukt.

RK: Stichwort „eingehender Spam-Filter“ – die sind für viele Versender ja eine Blackbox: ich schicke eine Test-E-Mail, die landet im Spam und keiner weiß genau, warum. Wie funktioniert ein Spam-Filter bei ISPs und in Unternehmen?

ND: Das ist (leider) häufig richtig. Die Marketing Abteilungen legitimer Versender wissen teilweise nicht genau, wie Spamfilter funktionieren und wundern sich über hohe Rücklaufraten; viele anti-Spammer verlassen sich zu sehr auf die inhaltliche Prüfung von Nachrichten und generieren somit Unmengen von False-Positives. Im Prinzip funktionieren alle professionellen anti-Spam Lösungen aber gleich. Am Beispiel der Filter von SpamExperts: Alle eingehenden Nachrichten werden zunächst auf SMTP-Ebene untersucht. Vereinfacht gesagt werden das Sendeverhalten und die Reputation des Versenders analysiert. Die Filter, die dort angewendet werden, sind beispielsweise: Greylisting, SPF (Sender Policy Framework), DKIM (DomainKeys Identified Mail), BATV (Bounce Address Tag Validation), Absender Verifizierung, IP-Analyse, Flood Protection, Wörterbuch- und Harvestingschutz, Blacklisting uvm. Erst in Stufe zwei des Filterprozesses, welche nach SpamExperts Auffassung in genauerer Filterung resultiert, wird der eigentliche Inhalt der Nachrichten betrachtet. Die Filter, die dort verwendet werden sind beispielsweise: checksum filtering und hash checks, Musteranalyse, dynamische Inhaltsanalyse, statistische Filter, OCR Erkennung, Bild-Umwandlung, Anti-Virus etc.

RK: Eine ganze Menge Holz, das sich auf die Spam-Wahrscheinlichkeit auswirken kann. Interessant: Euer Spam-Filter schaut sich also in der zweiten Stufe (Inhaltsebene) auch den Text in Grafiken per OCR an?

ND: Ist richtig, ja . Du musst Dir eben vorstellen, dass viele unserer Kunden Webhoster sind, mit mehreren hunderttausend Domains, mehreren Million Usern und mehreren hundert Millionen Spams jeden Tag. Da macht auch die zweite Stelle nach dem Komma hinsichtlich der Filtergenauigkeit richtig etwas aus. Zur Frage: Der Filter nimmt einen digitalen Fingerabdruck des Inhalts der Nachricht. Wenn ein Spammer bspw. seinen Unfug in eine Bilddatei verpackt hat, muss der Filter dieses Bild erst rück-konvertieren, dann den Fingerabdruck nehmen, dann denn OCR Scanner laufen lassen, und dann eben einen kleinen Teil des Spamscores errechnen. “Tricky” wird es, wenn die Spams nicht nur aus einem Bild bestehen, sondern quasi jedes Pixel ein einzelnes Bild ist, und dann jedes Pixel leicht verschoben wird. Dann kann der OCR Scanner nämlich erst mal ordentlich rechnen, bis er dann herausgefunden hat, was da eigentlich steht…

RK: Um noch mal auf SPF und DKIM zurückzukommen: Also würdest du sagen, dass Authentifizierung z. B. per DKIM nicht nur Absender-Spoofing/Betrug vorbeugen, sondern auch eine verbesserte E-Mail-Zustellung mit sich bringen kann?

ND: Vollkommen korrekt, ja. Je mehr Authentifizierung, desto besser die Reputation beim Spamfilter.

RK: Interessant, dies wurde in der Branche durchaus kontrovers diskutiert. Hm wie sieht es eigentlich mit der Reputation einzelner Links in der E-Mail aus… Können Affiliate-Links etwa ausschlaggebend für eine Filterung sein? Und werden Redirect-Links, die z. B. von der Versandsoftware zur Klickzählung eingesetzt werden, aufgelöst und die dahinter stehenden Verweise ebenfalls in das Spam-Scoring mit einbezogen?


ND: Auch das ist beides richtig. Links werden grundsätzlich aufgelöst und es wird geschaut was denn “dahinter” steckt. Allerdings zielen diese Tests eher darauf herauszufinden, ob die Endseite eine Phishing-Site ist oder ob es dort Schadenssoftware gibt bzw. man sich automatisch solche herunter lädt, wenn man auf den Link klickt. Das typische Beispiel ist eine E-Mail im Design „einer Bank“, bei der man kurz seine Kontendaten hinterlegen muss… SpamExperts verwaltet aber beispielsweise riesige Datenbanken mit bekannten Phishing-Seiten und fragt natürlich auch externe Datenbanken ab.

RK: Authentifizierung und das Aussortieren von Links mit zweifelhafter Reputation ist also sinnvoll. Was sollte ich als E-Mail-Marketer sonst beachten, damit meine E-Mails im Posteingang landen?

ND: Ganz ehrlich, und das sage ich jetzt nicht um für E-Mail Marketer Werbung zu machen, das Wichtigste ist die Reputation des Versenders gepaart mit der Qualität des Filters des Empfängers. Da geht es sowohl um die Reputation der IP-Ranges, ob der versendende Mailserver die im RFC-spezifizierten Warteintervalle einhält, aber auch darum, ob die Einschreibe-Prozedur “sauber” ist, ob es einfache Möglichkeiten gibt, sich aus dem Verteiler wieder auszuschreiben und so weiter. Die eco e.V. hat dazu recht gute Grundsätze zusammenstellt. Schlagwörter an sich sollten in einem guten Filter nur eine kleine Wirkung auf die Spam-Gesamtwahrscheinlichkeit haben. Ich nehme immer gerne das Beispiel eines Kunden, den wir haben, das Krankenhaus in Rotterdam. Wenn wir dort E-Mails anhand des Inhalts filtern würden (kommt beispielsweise das Schlagwort “Viagra” oder gewisse männliche Körperteile in der E-Mail vor), würde das Krankenhaus die Hälfte der legitimen E-Mails nicht bekommen.

RK: @eco: Stimmt… der Leitfaden findet sich hier. (optivo hat auch noch einen in petto) Reputation ist also das A und O – heißt das auch: Die x. Liste mit angeblichen Phrasen, die Spamfilter triggern, ist nicht der heilige Gral in Sachen “Posteingang”? Und statt sich hier auf die Suche nach solchen Listen zu begeben, würdest du Versendern bei Zustellproblemen eher empfehlen, a.) die Versandarchitektur allgemein und b.) die Versandpraktiken – von der Adressgenerierung über Inhalte & Frequenz bis zur Abmeldung – auf den Prüfstand zu stellen?

ND: Hier spreche ich für den Filter von SpamExperts. Wir filtern wirklich rund 95% der Spams auf SMTP-Ebene. Die restlichen etwa 5% gehen uns dann auf Inhaltsebene in die Fänge. Um Deine Frage zu beantworten: Ja, es ist sehr viel wichtiger, die von Dir genannten Punkte zu beachten, als zu versuchen, die richtigen Schlagworte zu nutzen. Stell Dir vor Du bist der legitime Vertreiber von Viagra. Es gibt schließlich einfach Menschen, die Deine E-Mails erhalten wollen, und diese sollten nicht in ihrem Spam-Ordner danach suchen müssen. Leider sind wir nicht der einzige Anbieter im Markt . Viele Wettbewerber machen kaum Reputations-Analysen und verlassen sich eher auf Inhaltsanalysen, mit teilweise fatalen Folgen. Jeder in Outlook oder Thunderbird eingebaute Spamfilter filtert natürlich ebenfalls nur auf Inhalt. Der Trend geht aber ganz klar zur Server-basierten Filterung und das wird sich früher oder später überall, auch bei den großen Freemail Anbietern durchsetzen.

RK: Dann danke ich Dir für den interessanten Blick hinter die Spam-Filter-Kulissen. Alle Leser sind sicher herzlich eingeladen, mal einen Blick auf SpamExperts.com zu werfen oder in Deiner Xing-Gruppe „Sp@m Free – the anti-spam community“ Fragen zu stellen und mit zu diskutieren?

ND: Dir natürlich auch Danke für das Interview. Wir freuen uns jederzeit über Kontakt zu Versendern und anderen Interessierten. E-Mails können auch gerne direkt an mich gerichtet werden: n.decker@spamexperts.com


Veröffentlichung mit freundlicher Genehmigung von Spam Experts.
 
Back
Top