Tom: MAIL: Verzögerte Mailauslieferung?

Hello,

schade, der Thread ist schon verschwunden.
Ich wollte nochmal nachhaken. Es wird nämlich langsam wirklich interessant.

Aber wie es aussieht, hat sich hier wohl auch nur Sven schon näher mit Lösungsmöglichkeiten bei Postfix beschäftigt. Vielleicht liest es trotzdem noch jemand anderes, der/die schon eine Idee hat, wie ich vorgehen muss.

Also nochmal von vorne.

Ich habe als MTA Postfix laufen.
Es gehen am Tag ca. 10.000 bis 15.000 Mails ein, von denen ca. 99,5% Spam sind. Durch Maßnahmen in der Protokollschicht, die mir Sven geraten hat, konnte ich schon 99% des Spams ausfiltern, _bevor_ die Mails überhaupt an den MTA zugestellt werden.

Nun sind noch die Maßnahmen

  • Greylisting
  • SPF
    offen.

Greylisting scheint bei Betrachtung des durchgeschlüpften Spamaufkommens aber fast überholt zu sein. Ich beklage mich da hauptsächlich über mehrfach zugestellte gleichlautetnde Mails, die ja vermutlich deshalb zwei- bis viermal innerhalb eines kurzen Abstandes gesendet werden, um das Greylisting-Verfahren auszutricksen.

So habe ich das jedenfalls bisher verstanden.

Ich würde also eigentlich genau das Gegenteil brauchen.
Vermeintlich auszuliefernde Mails, die keinem Authenticated Sender (Whitelist) zuzuordnen sind, auf HOLD setzen für z.B. eine Minute und erst ausliefern, wenn innerhalb dieser Zeit die gleiche Mail nicht nochmal eintrifft. Wenn sie nochmal eintrifft, in Filtertabelle aufnehmen...

Leider weiß ich nicht, wie ich da ansetzen kann.

SPF habe ich einen Menge gelesen, muss abr zugeben, dass ich überhaupt keinen Schimmer habe, wie ich das nun für unseren Mailserver nutzbar machen kann.

Wer kann  hier noch weiterhelfen?

Ich habe Auszüge aus dem Buch von Peer Heinlein gelesen. Das sit sehr verständlich formuliert. Kennt es jemand? Geht er auch auf Modifikationen von Postfix der gewünschten Art (Multimail-Listing) ein?

Oder wären es mal wieder nur 39 Euro für's Regal, weil ich den eigentlich interesasanten Teil Dank Svens Hilfe sowieso schon umgesetzt habe?

Harzliche Grüße vom Berg
http://bergpost.annerschbarrich.de

Tom

--
Fortschritt entsteht nur durch die Auseinandersetzung der Kreativen
Nur selber lernen macht schlau
Ein Jammer ist auch, dass die Dummen so selbstsicher und die Klugen voller Zweifel sind. Das sollte uns häufiger zweifeln lassen :-)

  1. Moin Moin!

    Greylisting scheint bei Betrachtung des durchgeschlüpften Spamaufkommens aber fast überholt zu sein. Ich beklage mich da hauptsächlich über mehrfach zugestellte gleichlautetnde Mails, die ja vermutlich deshalb zwei- bis viermal innerhalb eines kurzen Abstandes gesendet werden, um das Greylisting-Verfahren auszutricksen.

    So habe ich das jedenfalls bisher verstanden.

    Greylisting heißt, dass Du eine neue Kombination von Remote IP, From und To mit einem "vorübergehend nicht zustellbar" beantwortest und diese Kombination erst nach einem gewissen Timeout (15 min .. 2 h) als zustellbaren Kandidaten erlaubst. Du nimmst im ersten Versuch die Mail also nicht an.

    Kommt diese Kombination innerhalb des Timeouts nochmal, gibt es wieder ein "vorübergehend nicht zustellbar" und der Timeout fängt von neuem an. Du nimmst schnell wiederholte Spam-Kandidaten also auch nicht an.

    Erst wenn der nächste Zustellversuch nach dem Timeout kommt (normale Mailserver probieren bis zu 4 oder 7 Tage mit wachsenden Zeitabständen, eine Mail zuzustellen), kommt die Mail in den normalen Zustellprozess und die Kombination Remote IP, From, To kommt auf die White List.

    Die nächste Mail mit der gleichen Kombination landet dann sofort im Zustellprozess. So wird jeder neue Kontakt nur einmal "bestraft".

    Bekannt gute Absender kannst Du am Graylister vorbei in die White List eintragen oder den Graylister erst nach einer Vorsortierung (SPF, ...) einsetzen. Bekannt schlechte Absender packst Du entsprechend in eine Black List.

    Alexander

    --
    Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".
    1. Hello Alexander,

      Greylisting heißt, dass Du eine neue Kombination von Remote IP, From und To mit einem "vorübergehend nicht zustellbar" beantwortest und diese Kombination erst nach einem gewissen Timeout (15 min .. 2 h) als zustellbaren Kandidaten erlaubst. Du nimmst im ersten Versuch die Mail also nicht an.

      Was Greylisting ist, habe ich verstanden.

      Aber, so wie Du es beschreibst, geht es nicht bei uns und bei vielen anderen Mailservern wohl auch nicht. Wir sind auf schnelle Reaktionszeiten (innerhalb 10 Minuten) angewiesen. Da kann ich nicht jemandes Mail zwei Stunden lang sperren, weil er/sie uns noch nicht bekannt war. Die meisten unserer Mail-Sender sind uns nicht bekannt. Also müsste ich die Zeit entsprechend kurz einstellen, und genau das müssen scheinbar auch viele andere Mailserver-Betreiber.

      Und dann wirkt Greylisting nicht mehr, weil die Spammer eben genau das erkannt haben und innerhalb weniger Minuten dieselbe Mail mehrfach schicken. Genau hier möchte ich ansetzen. Ich möchte Mails nicht sofort, sondern eben mit z.B. mit nur einer Minute Verzögerung zustellen, sie aber z.B. noch einen Tag in der Queue (oder einer Datenbank) behalten. Wenn die gleiche Mail (oder eine nahezu gleiche (Soundex ist da mein Freund) nochmal kommt, dann soll sie nicht mehr ausgeliefert werden, die Aufbewahrungszeit in der Datenbank verlängert werden, die usw. Wenn sie innnerhalb der Zustellverzögerung nochmal kommt, dann muss sie ebenfalls nicht ausgeliefert werden.

      Es handelt sich nach den Blockings auf der Protokollschicht ja nur noch um ca. 150 bis 400 Mails am Tag, die durchschlüpfen. Das ist für eine Datenbank nicht zuviel.

      Ich habe schon versucht, das Greylisting-Verfahren einfach umzubauen, aber das wird wohl noch "ein paar Tage" dauern, bis ich den Code entsprechend sinnvoll anpassen kann.

      Harzliche Grüße vom Berg
      http://bergpost.annerschbarrich.de

      Tom

      --
      Fortschritt entsteht nur durch die Auseinandersetzung der Kreativen
      Nur selber lernen macht schlau
      Ein Jammer ist auch, dass die Dummen so selbstsicher und die Klugen voller Zweifel sind. Das sollte uns häufiger zweifeln lassen :-)

      1. Moin!

        Was Greylisting ist, habe ich verstanden.

        Aber, so wie Du es beschreibst, geht es nicht bei uns und bei vielen anderen Mailservern wohl auch nicht. Wir sind auf schnelle Reaktionszeiten (innerhalb 10 Minuten) angewiesen.

        Für "schnelle Reaktionszeiten" ist EMail das falsche Medium. Nutze Telefon - oder Fax (fürs Schriftliche). Denn es kann dir ja immer mal unerwartet irgendein ausgefallener Mailserver dazwischenkommen, und dann wartet man und wartet und wartet... und irgendwann kriegt man dann doch die Mail mit irgendeinem abstrus weit zurückliegenden Datum, obwohl man schon böse "wann passiert mal was?"-Mails hinterhergeschickt hat.

        Abgesehen davon ist die Schnelligkeit und Direktheit der EMail ja auch ihr größter Fluch, weil das Leute von der Arbeit abhält. Nichts ist ekliger, als ein minütlich aktualisierendes Mailpostfach, dass neue Mails sofort ankündigt und den Bildschirmarbeiter damit aus seinem gerade gefaßten Gedanken herausreißt.

        Da kann ich nicht jemandes Mail zwei Stunden lang sperren, weil er/sie uns noch nicht bekannt war. Die meisten unserer Mail-Sender sind uns nicht bekannt. Also müsste ich die Zeit entsprechend kurz einstellen, und genau das müssen scheinbar auch viele andere Mailserver-Betreiber.

        Mundpropaganda sagt, dass allein die Tatsache, dass der Mailversuch genau beim ersten Mal nicht erfolgreich abgeschlossen werden kann, schon alle weniger aufwendig, d.h. ohne Mailqueue programmierten Spamtools aus der Bahn wirft. Ob da also eine Sekunde oder eine Woche gewartet wird, ist nicht relevant.

        Und dann wirkt Greylisting nicht mehr, weil die Spammer eben genau das erkannt haben und innerhalb weniger Minuten dieselbe Mail mehrfach schicken.

        Es gibt auch Spammer, die real existierende Mailserver einsetzen, Postfix zum Beispiel. Gegen die wirkt Greylisting natürlich auch nicht mehr wirklich - es sei denn, man hat das Glück, dass diese Spammer auch bei anderen in die Falle gehen, so dass entsprechende Blacklisten sich aktualisieren, bevor die eigene Greylisting-Zeit abgelaufen ist und vom Spammer ein neuer Versuch unternommen wird. Aber das ist in meinen Augen kein Grund, Greylisting nicht einzusetzen.

        Genau hier möchte ich ansetzen. Ich möchte Mails nicht sofort, sondern eben mit z.B. mit nur einer Minute Verzögerung zustellen, sie aber z.B. noch einen Tag in der Queue (oder einer Datenbank) behalten. Wenn die gleiche Mail (oder eine nahezu gleiche (Soundex ist da mein Freund) nochmal kommt, dann soll sie nicht mehr ausgeliefert werden, die Aufbewahrungszeit in der Datenbank verlängert werden, die usw. Wenn sie innnerhalb der Zustellverzögerung nochmal kommt, dann muss sie ebenfalls nicht ausgeliefert werden.

        Diese Idee ist aus zweierlei Gründen höchst zweifelhaft.

        Erstens: Wenn du eine Mail annimmst, dann mußt du sie ausliefern an den Empfänger. Tust du das nicht, kann Post verloren gehen, ohne dass man weiß, wo sie geblieben ist. Der Empfänger darf sie ja gerne durch seinen clientseitigen Spamfilter aussortieren oder direkt löschen - das ist aber komplett seine eigene Verantwortung als Mailempfänger, nicht dein Aufgabenbereich als Mailadmin.

        Zweitens: Die Unterdrückung von Mails ist auch rechtlich eine mindestens "fragwürdige" Angelegenheit.

        Ich habe schon versucht, das Greylisting-Verfahren einfach umzubauen, aber das wird wohl noch "ein paar Tage" dauern, bis ich den Code entsprechend sinnvoll anpassen kann.

        Ich würde da die Finger von lassen.

        - Sven Rautenberg

        --
        "Love your nation - respect the others."
  2. Moin!

    SPF habe ich einen Menge gelesen, muss abr zugeben, dass ich überhaupt keinen Schimmer habe, wie ich das nun für unseren Mailserver nutzbar machen kann.

    SPF ist zweigeteilt. Zum einen der viel wichtigere Teil: Teile der Welt mit, welche Server für die Domain Mails versenden dürfen. Spammer mögen sowas anscheinend nicht, denn wo SPF in einer Domain steckt, da steckt oft ein informierter Admin dahinter, der Spamfilter installiert hat.

    Außerdem schützt es deine Domain etwas davor, Opfer von Joe-Jobs zu werden.

    Zweitens - und das ist leider aufgrund der Abwesenheit von SPF-Einträgen bei den meisten Mails noch eher wirkungslos - filterst du hereinkommende Mails von Quellen, deren Domain dir sagen, dass die Quelle nicht zugelassen ist. Man kann außerdem noch nachschauen, ob der SPF-Eintrag das gesamte Internet erlaubt (warum wohl... :) ), und man kann diese Information auch als zusätzlichen Mailheader speichern, damit der Empfänger damit vielleicht noch was anfangen kann.

    - Sven Rautenberg

    --
    "Love your nation - respect the others."
    1. Hello,

      Zweitens - und das ist leider aufgrund der Abwesenheit von SPF-Einträgen bei den meisten Mails noch eher wirkungslos - filterst du hereinkommende Mails von Quellen, deren Domain dir sagen, dass die Quelle nicht zugelassen ist. Man kann außerdem noch nachschauen, ob der SPF-Eintrag das gesamte Internet erlaubt (warum wohl... :) ), und man kann diese Information auch als zusätzlichen Mailheader speichern, damit der Empfänger damit vielleicht noch was anfangen kann.

      Ich verstehe nur immer noch nicht, was ich an unserem Webserver tun muss, dass er die Informationen nutzen kann und auch die notwendigen zur Verfügung stellt.

      Harzliche Grüße vom Berg
      http://bergpost.annerschbarrich.de

      Tom

      --
      Fortschritt entsteht nur durch die Auseinandersetzung der Kreativen
      Nur selber lernen macht schlau
      Ein Jammer ist auch, dass die Dummen so selbstsicher und die Klugen voller Zweifel sind. Das sollte uns häufiger zweifeln lassen :-)

      1. Moin!

        Ich verstehe nur immer noch nicht, was ich an unserem Webserver tun muss, dass er die Informationen nutzen kann und auch die notwendigen zur Verfügung stellt.

        Am Webserver gar nichts. SPF spielt sich im DNS ab. Und im Skript "spfpolicy", was du sicher im Zusammenhang mit Postfix leicht nachgooglen kannst. Ich hab mir das übrigens dupliziert - einmal gibt es REJECT etc. zurück für die "harte" Mailfilterung in den smtpd_recipient_restrictions, und ein zweites Mal gibt es "nur" den Befehl zur Anreicherung des Headers zurück in den smtpd_data_restrictions.

        - Sven Rautenberg

        --
        "Love your nation - respect the others."
  3. Moin!

    schade, der Thread ist schon verschwunden.

    Nein, ist er nicht.

    - Sven Rautenberg

    --
    "Love your nation - respect the others."
    1. Hello,

      schade, der Thread ist schon verschwunden.

      Nein, ist er nicht.

      Sorry. Dann hatte er sich wohl versteckt, oder ich hatte (ein paarmal hintereinander) nicht die ganze Threadübersicht im Browser. Ich habe immer nach 'Postfix' gesucht und sonst immer (wie jetzt auch wieder) das "grüne Licht" im Suchfeld. Den Suchbegriff habe ich dort seit Tagen nicht geändert...

      Harzliche Grüße vom Berg
      http://bergpost.annerschbarrich.de

      Tom

      --
      Fortschritt entsteht nur durch die Auseinandersetzung der Kreativen
      Nur selber lernen macht schlau
      Ein Jammer ist auch, dass die Dummen so selbstsicher und die Klugen voller Zweifel sind. Das sollte uns häufiger zweifeln lassen :-)