Unsichtbares Zeichen in Mail-Adresse

[Linuchs]

Hallo,

Habe hier eine Mailadresse, die ich mit Sylpheed nicht abschicken kann. Zu sehen ist nichts Ungewöhnliches, aber mit einem unsichtbaren Zeichen zwischen e und >:

<[e-mail]>

Wenn ich - auch jetzt im Eingabefeld - mit dem Cursor von .de nach rechts weitergehe, bleibt er vor dem > einmal hängen. Habe in meinem Editor Geany keine Möglichkeit gefunden, das Zeichen sichtbar zu machen.

Ist offenbar ein Schutz gegen Spam-Mail, aber was ist es genau?

Linuchs

[Gunnar Bittersmann]

@@Linuchs

Habe in meinem Editor Geany keine Möglichkeit gefunden, das Zeichen sichtbar zu machen.

Richard Ishidas Unicode code converter kann das.

Ist offenbar ein Schutz gegen Spam-Mail, aber was ist es genau?

U+FEFF Byte Order Mark. Hat dort nichts zu suchen.

LLAP 🖖

[Linuchs]

Hallo Gunnar,

Richard Ishidas Unicode code converter kann das.

Danke, aber offenbar ist keine Umsetzung für PHP geeignet. Habe eine Stunde den Fehler gesucht und möchte eine derartige Mail-Adressen in Listen kenntlich machen. Wie codiere ich dieses Zeichen richtig?

  $search     = array( ',', "'",      '"',      U+FEFF );
  $replace    = array( ' ', "'", '\&quot', '#' );

Linuchs

[Linuchs]

also, da kommt ein unbekanntes Zeichen aus der Datenbank und ich habe keine Chance, es zu sehen.

Möglicherweise "interpretiert" der Browser das Zeichen und wenn ich es "greifen" will, um es in den PHP-Code einzufügen, ist es ein anderes unsichtbares Zeichen.

PHP-Programm erkennt es jedenfalls nicht als 0xFEFF

Linuchs

[MudGuard]

Hi,

U+FEFF Byte Order Mark. Hat dort nichts zu suchen.

However, if encountered elsewhere [i.e. not at start of file, Anmerkung von MudGuard] it should, according to Unicode, be treated as a "zero-width non-breaking space." (allerdings seit Unicode 3.2 deprecated -> use U+2060 Word Joiner instead ...)

(sagt zumindest Wikipedia)

cu,
Andreas a/k/a MudGuard

[Jörg Reinholz]

Moin!

echo '<[e-mail]>' | sed "s/[^A-Za-Z0-9@._<>-]/#/g"

macht in der Konsole sichtbar, dass ein nicht erlaubtes Zeichen da ist.

echo '<[e-mail]>' | sed "s/[^A-Za-Z0-9@._<>-]//g"

löscht es.

<?php
echo urlencode('<[e-mail] >');

zeigt Dir auch was an...

Jörg Reinholz

[Jörg Reinholz]

Moin!

Ich sehe jetzt, dass Du auch nach PHP fragst.

echo '<[e-mail]>' | sed "s/[^A-Za-Z0-9@._<>-]/#/g"

macht in der Konsole sichtbar, dass ein nicht erlaubtes Zeichen da ist.

In PHP:

<?php
$mailTest=preg_replace('/[^A-Za-Z0-9@._<>-]/', '#', $mail);

echo '<[e-mail]>' | sed "s/[^A-Za-Z0-9@._<>-]//g"

löscht es.

In PHP:

<?php
$mailSauber=preg_replace('/[^A-Za-Z0-9@._<>-]/', '', $mail);

Jörg Reinholz

[Linuchs]

Zwischenergebnis:

echo $firma1_mailcode." [".mb_substr($row['email'], -1, 1 )."] [".bin2hex( mb_substr($row['email'], -1, 2 ))."]<br>\n";

zeigt

1.. [[e-mail]] [65]
2.. [[e-mail]] [6d]
3.. [[e-mail]] [efbbbf]
4.. [[e-mail]] [6c]

Die 3 ist mein Problemfall. Hier bei der Eingabe "hängt" der Cursor wieder vor dem ersten ]

Das gehört aber nicht zum UTF8 Zeichensatz?

[Linuchs]

Bin inzwischen etwas konfus nach ein paar Stunden mit diesem "Geistteilchen"-Problem. Habe den falschen PHP-Code gepostet.

falsch:

echo $firma1_mailcode." [".mb_substr($row['email'], -1, 1 )."] [".bin2hex( mb_substr($row['email'], -1, 2 ))."]<br>\n";

richtig:

echo $firma1_mailcode." [".$row['email']."] [".bin2hex( mb_substr($row['email'], -1, 1 ))."]<br>\n";

zeigt

1.. [[e-mail]] [65]
2.. [[e-mail]] [6d]
3.. [[e-mail]] [efbbbf]
4.. [[e-mail]] [6c]

[Gunnar Bittersmann]

@@Linuchs

Das gehört aber nicht zum UTF8 Zeichensatz?

Es gibt keinen UTF-8-Zeichensatz. Auch nicht ohne Deppenleerzeichen.

LLAP 🖖

[Linuchs]

Hallo Jörg,

<?php
echo urlencode('<[e-mail] >');

zeigt Dir auch was an...

... [klaus.mann%40example.de%EF%BB%BF]

Wie zum Teufel ersetzt man das?

$row['email']    = str_replace( 0xbbbf, '#', $row['email'] );

wirkt nicht.

[Jörg Reinholz]

Moin!

Du musst einfacher denken:

<?php
$s='<[e-mail]%EF%BB%BF>';
$schadhaft=urldecode($s);
$suche=urldecode('%EF%BB%BF');
echo str_replace($suche, '#', $schadhaft);

Jörg Reinholz

[Jörg Reinholz]

Moin!

Das Problem mit den BOM haben offenbar viele. Deshalb als Skript für alle:

<?php
function rmBOM($str, $replacment='') {
   
    # source: https://en.wikipedia.org/wiki/Byte_order_mark

    $boms=array(
        urldecode('%EF%BB%BF'),       #UTF-8
        urldecode('%FE%FF'),          #UTF-16 (BE)
        urldecode('%FF%FE'),          #UTF-16 (LE)
        urldecode('00%00%FE%FF'),     #UTF-32 (BE)
        urldecode('FF%FE%00%00'),     #UTF-32 (LE)
        urldecode('2B%2F%76%38'),     #UTF-7
        urldecode('2B%2F%76%39'),     #UTF-7
        urldecode('2B%2F%76%2B'),     #UTF-7
        urldecode('2B%2F%76%2F'),     #UTF-7
        urldecode('2B%2F%76%38%2D'),  #UTF-7
        urldecode('%F7%64%4C'),       #UTF-1
        urldecode('%DD%73%66%73'),    #UTF-EBCDIC
        urldecode('%0E%FE%FF'),       #SCSU
        urldecode('%FB%EE%28'),       #BOCU-1
        urldecode('%84%31%95%33')     #GB-18030
    );
    return str_replace($boms, $replacment, $str);
}

#/* Test:
$s='<[e-mail]%EF%BB%BF>';
$schadhaft=urldecode($s);

echo 'Schadhaft: ', $schadhaft, "\n";
echo 'Anzeige:   ', rmBOM($schadhaft, '#BOM!#'), "\n";
echo 'Bereinigt: ', rmBOM($schadhaft),  "\n";
#*/

Jörg Reinholz

[Jörg Reinholz]

Moin!

Ich kaufe 7 "%"

<?php
function rmBOM($str, $replacment='') {
 # source: https://en.wikipedia.org/wiki/Byte_order_mark
 
    $boms=array(
        urldecode('%EF%BB%BF'),       #UTF-8
        urldecode('%FE%FF'),          #UTF-16 (BE)
        urldecode('%FF%FE'),          #UTF-16 (LE)
        urldecode('%00%00%FE%FF'),    #UTF-32 (BE)
        urldecode('%FF%FE%00%00'),    #UTF-32 (LE)
        urldecode('%2B%2F%76%38'),    #UTF-7
        urldecode('%2B%2F%76%39'),    #UTF-7
        urldecode('%2B%2F%76%2B'),    #UTF-7
        urldecode('%2B%2F%76%2F'),    #UTF-7
        urldecode('%2B%2F%76%38%2D'), #UTF-7
        urldecode('%F7%64%4C'),       #UTF-1
        urldecode('%DD%73%66%73'),    #UTF-EBCDIC
        urldecode('%0E%FE%FF'),       #SCSU
        urldecode('%FB%EE%28'),       #BOCU-1
        urldecode('%84%31%95%33')     #GB-18030
    );
    return str_replace($boms, $replacment, $str);
}

#/* Test:
$s='<[e-mail]%EF%BB%BF>';
$schadhaft=urldecode($s);

echo 'Schadhaft: ', $schadhaft, "\n";
echo 'Anzeige:   ', rmBOM($schadhaft, '#BOM!#'), "\n";
echo 'Bereinigt: ', rmBOM($schadhaft),  "\n";
#*/

Jörg Reinholz

[dedlfix]

Tach!

... [klaus.mann%40example.de%EF%BB%BF]

Wie zum Teufel ersetzt man das?

Händisch im Datenbestand korrigieren? Sprich den Feldinhalt neu und ohne komische Zeichen einfügen.

dedlfix.

[Linuchs]

Händisch im Datenbestand korrigieren?

Klar. Doch wenn dann der nächste Fall eintritt, steht irgend jemand wieder vor dem aufwändigen Problem der Fehlersuche.

Man kann den Fehler nicht sehen und nicht hören.

Linuchs

[Auge]

Hallo

Händisch im Datenbestand korrigieren?

Klar. Doch wenn dann der nächste Fall eintritt, steht irgend jemand wieder vor dem aufwändigen Problem der Fehlersuche.

Das ist wohl wahr.

Man kann den Fehler nicht sehen und nicht hören.

In diesem Thread wurden mehrere Lösungen angeboten, die den Fehler sehr wohl sicht- und behebbar machen. Wenn du sie nicht nutzt, ist das deine Sache.

Tschö, Auge

[Linuchs]

In diesem Thread wurden mehrere Lösungen angeboten, die den Fehler sehr wohl sicht- und behebbar machen. Wenn du sie nicht nutzt, ist das deine Sache.

Naja, die erste von Jörg war schon falsch:

$mailSauber=preg_replace('/[^A-Za-Z0-9@._<>-]/', '', $mail);

a-Z mochte PHP gar nicht, wahrscheinlich ist Groß Z kleiner als Klein a.

Aber auch nach der Korrektur war's das nicht. Die anderen Lösungen sind später gekommen,muss ich noch ausprobieren, hatte inzwischen eine andere Baustelle. Mails waren ja verschickt.

Linuchs

[Linuchs]

muss ich noch ausprobieren,

  $suche      = urldecode('%EF%BB%BF');
  $search     = array( ',', "'",      '"',      $suche ); // "Shanty-Chor Neustadt" <[e-mail]!>
  $replace    = array( ' ', "&#039;", '\&quot', '#' );
  while( $row = mysql_fetch_array($res) )
  {
    // HTML so codieren, dass HTML eine gueltige Mail-Adresse weitergeben kann
    $firma1_mailcode  = str_replace( $search, $replace, $row['firma1'] );
    $row['email']     = str_replace( $search, $replace, $row['email'] );  // in Mail unsichtbares blank markieren

Lösung von Jörg 29.01.2016 16:13 mit dem urldecode funzt. Danke

$row['email']    = preg_replace('/[^A-Za-z0-9@._<>-]/', '#', $row['email'] );

schreddert mir die Liste wegen

<a href="mailto:Shanty-Chor xyz &lt;[e-mail]</a>

korrekte Listen-Positionen sehen so aus:

<a href="mailto:Vorname Nachname &lt;[e-mail]&gt;">[e-mail]</a>

Was also stimmt an dem preg_replace() nicht?

Linuchs

[Linuchs]

das Problem hat mich so fusselig gemacht, dass ich schon Echtdaten poste. Sorry, ist durchgerutscht.

[Camping_RIDER]

Aloha ;)

das Problem hat mich so fusselig gemacht, dass ich schon Echtdaten poste. Sorry, ist durchgerutscht.

Keine Ahnung ob schon vor mir jemand tätig war, ich habe aber zur Sicherheit nochmal und deutlich anonymisiert.

Grüße,

RIDER

[Jörg Reinholz]

Moin!

Was also stimmt an dem preg_replace() nicht?

Du hast den Regex auf etwas an angewendet, was nicht mit Deinen bisherigen Beschreibungen übereinstimmt.

Jörg Reinholz

[dedlfix]

Tach!

Händisch im Datenbestand korrigieren?

Klar. Doch wenn dann der nächste Fall eintritt, steht irgend jemand wieder vor dem aufwändigen Problem der Fehlersuche.

Der nächste Fall ist nach dem Zufallsprinzip anders geartet und verlangt eine andere Herangehensweise. Solange es nicht auffällt, dass es da immer wieder dasselbe Problem gibt, halte ich eine Gegenmaßnahme abseits der händischen Korrektur für zuviel investierte Zeit. Dabei wird außerdem das Gesamtsystem um den hinzugefügten Code komplexer. Und man darf auch nicht vergessen, dass diese Gegenmaßnahme an allen Einfallsstellen platziert werden muss.

Man kann den Fehler nicht sehen und nicht hören.

Einen x-beliebigen String durch urlencode() zu schicken, ergibt auf alle Fälle etwas auswertbares.

dedlfix.