Charset für robots.txt

[hotti]

Moin,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein

print "Content-type: text/plain; charset=UTF-8\n\n";

ausgebe, bevor ich die robots.txt folgen lasse. Seht Ihr das auch so?

Viele Grüße,
Horst Haselhuhn

[Der Martin]

Hallo,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein
   print "Content-type: text/plain; charset=UTF-8\n\n";
ausgebe, bevor ich die robots.txt folgen lasse. Seht Ihr das auch so?

ich denke, es ist nicht nur okay, sondern selbstverständlich, *jeder* per HTTP ausgelieferten Ressource einen Content-Type-Header voranzustellen.

Ciao,
 Martin

[Felix Riesterer]

Lieber Martin,

ich denke, es ist nicht nur okay, sondern selbstverständlich, *jeder* per HTTP ausgelieferten Ressource einen Content-Type-Header voranzustellen.

aha, und das macht man in PHP per

print "Content-type: text/plain; charset=UTF-8\n\n";

?

Liebe Grüße,

Felix Riesterer.

[Der Martin]

Hallo Felix,

ich denke, es ist nicht nur okay, sondern selbstverständlich, *jeder* per HTTP ausgelieferten Ressource einen Content-Type-Header voranzustellen.
aha, und das macht man in PHP per

print "Content-type: text/plain; charset=UTF-8\n\n";
?

nein, aber von PHP hat auch niemand gesprochen. Ich weiß aber, dass Hotti hauptsächlich auf Perl steht. Da scheint sowas üblich zu sein.

Schönen Sonntag noch,
 Martin

[Tom]

Hello,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein

print "Content-type: text/plain; charset=UTF-8\n\n";

ausgebe, bevor ich die robots.txt folgen lasse. Seht Ihr das auch so?

Kennt Dein Webserver den Content-Type für Text/Plain (Endung z.B. *.txt) nicht automatisch?
Hat der da noch keine Voreinstellung?

text/plain ist normalerweise die generelle Voreininstellung für Type

DefaultType text/plain

Und dazu wird das DefaultCharset verwendet

AddDefaultCharset UTF-8
     # AddDefaultCharset ISO-8859-1

je nachdem, wie man es braucht

Und die Zurodnung der Endungen zum MIME-Type macht das Mod-Mime.

text/html                          html htm
     text/parityfec
     text/plain                         txt text conf def list log in
     text/prs.fallenstein.rst
     text/prs.lines.tag                 dsc

(hier ein Ausschnitt aus der mime.conf (Datei kann ggf. auch anders heißen)

Es ist also mNm nur spannend, Deiner Robots eine separate Angabe mitzugeben, wenn Dein Server eine andere Grundeinstellung hat, als Du sie für einzelne Ressourcen tatsächlich benutzen willst.

Aber es war mal wieder eine schöne kleine Suchaufgabe zur Frühstückszeit :-)

Liebe Grüße aus dem schönen Oberharz

Tom vom Berg

[Felix Riesterer]

Lieber Tom,

Es ist also mNm nur spannend

aha, Deiner Neinung mach ist es das, ja? :-P

Liebe Grüße,

Felix Riesterer.

[Tom]

Hello lieber Felix,

Es ist also mNm nur spannend

aha, Deiner Neinung mach ist es das, ja? :-P

Meine Finger sind wohl noch nicht ganz wach, obwohl ich mich eigentlich heute schon um 7:00 Uhr ausgeschlafen gefühlt habe :-)

Ich fand Hottis Frage zum Warmwerden ganz interessant. Da muss ich dann doch immer nochmal schnell nachgucken, ob ich mich nicht irre. Wenn man nicht jeden Tag mit den Servern herumhantiert, dann kommt doch mal 'was durcheinander im Kopf...

Liebe Grüße aus dem schönen Oberharz

Tom vom Berg

[Der Martin]

Hallo,

Es ist also mNm nur spannend
aha, Deiner Neinung mach ist es das, ja? :-P

mir ist "mNm" auch aufgefallen, es war mir aber nicht interessant genug, um darauf einzugehen.

Meine Finger sind wohl noch nicht ganz wach, obwohl ich mich eigentlich heute schon um 7:00 Uhr ausgeschlafen gefühlt habe :-)

Was? Mitten in der Nacht? Nee, nix für mich. Vor acht stehe nur auf, wenn es sich gar nicht vermeiden lässt; manchmal, so wie heute, genieße ich es auch, bis gegen halb zehn zu pennen.
Eine alte Redensart sagt: Bis acht is' Nacht.
Und das trifft meine Einstellung, meinen Biorhythmus genau auf den Punkt - zumal für mich der Schlaf in den frühen Morgenstunden, typischerweise so zwischen fünf und acht Uhr, den größten Beitrag zur Erholung leistet: Wenn ich um kurz nach fünf mal zufällig aufwache, weil die Blase drückt oder draußen die Briefkästen klappern (Zeitung), dann fühle ich mich noch etwa genauso müde wie beim Zubettgehen. Und dann nochmal zwei bis drei Stunden schlafen, *das* bringt's dann.

So long,
 Martin

[hotti]

hi Martin,

in meinen Flegeljahren bin ich morgens auch nie so richtig rausgekommen, das hat sich mittlerweile stark verändert, muss wohl am Alter liegen. Aber auch am Wetter und überhaupt: Ich fahre jeden Tag mit dem Rad in die Fa., macht 40 km am Tag (2x20). Abends, so wie gestern, mache ich dann noch ein paar Dehnungsübungen und bewege meine Hanteln/Expander. Gewohnheitsmäßig übermannt mich dann der Schlaf um die Geisterstunde. Täglich morgens um sechs mache ich einen Senkrechtstart und Sonntags stehe ich besonders gerne in aller Herrgottsfrühe auf und mache Tee.

Genieße den Tag, solange wie möglich und solange Du es noch kannst.
Hotte

[Der Martin]

Hallo,

in meinen Flegeljahren bin ich morgens auch nie so richtig rausgekommen, das hat sich mittlerweile stark verändert, muss wohl am Alter liegen.

hmm, bei mir hat sich die Veranlagung zum Spät-ins-Bett-gehen und Spät-aufstehen erst so mit 25..30 Jahren entwickelt. Bis dahin machte es mir auch nichts aus, morgens schon um sieben aufzustehen - auch am Wochenende.

Ich fahre jeden Tag mit dem Rad in die Fa., macht 40 km am Tag (2x20).

Boah, da wäre ich ja schon fix und alle, wenn ich ankomme. Nach 20km mit dem Fahrrad bräuchte ich erstmal ein bis zwei Stunden zum Verschnaufen und Regenerieren, um wieder einigermaßen ansprechbar zu sein. Dagegen machen mir 20km Fußmarsch kaum was aus. Dauert halt länger ...

Abends, so wie gestern, mache ich dann noch ein paar Dehnungsübungen und bewege meine Hanteln/Expander.

Auch das noch. Junge Junge ...

Täglich morgens um sechs mache ich einen Senkrechtstart und Sonntags stehe ich besonders gerne in aller Herrgottsfrühe auf und mache Tee.

Wow. Wenn ich morgens um sechs aufwache, denke ich mir höchstens: "Ihr könnt mich alle mal", drehe mich um und schlafe mich aus.

Genieße den Tag, solange wie möglich und solange Du es noch kannst.

Das tu ich - und zwar bis spät am Abend. Oft bis ein, zwei Uhr nachts. Wenn ich so spät erst ins Bett gehe, hat das einen weiteren Vorteil: Die Zeit, in der ich stark schwitze (fängt meist so um die Abendbrotzeit an), ist dann schon ziemlich vorbei.

Ciao,
 Martin

[hotti]

hi,

Wow. Wenn ich morgens um sechs aufwache, denke ich mir höchstens: "Ihr könnt mich alle mal", drehe mich um und schlafe mich aus.

:-)

Noch was Lustiges aus meiner Schulzeit. Otto war mal wieder nicht zum Unterricht erschienen. Auf die Frage des Lehrers, "warum?" sagte Otto: Es hat geregnet.

Einfach genial. So eine coole Ausrede hatte ich nie, treu und brav bin ich immer gekommen, obwohl es trotz Schulbus, noch viel trivialere Gründe gab, da nicht hinzugehen.

Viele Grüße,
Hotti

PS: Gute Nacht ;-)

[Der Martin]

n'Abend,

Noch was Lustiges aus meiner Schulzeit. Otto war mal wieder nicht zum Unterricht erschienen. Auf die Frage des Lehrers, "warum?" sagte Otto: Es hat geregnet.

ja, das hat Schneid.

Einfach genial. So eine coole Ausrede hatte ich nie, treu und brav bin ich immer gekommen, obwohl es trotz Schulbus, noch viel trivialere Gründe gab, da nicht hinzugehen.

Was meinst du mit "trotz Schulbus"? - Ich bin normalerweise mit dem Fahrrad zur Schule gefahren (das waren gute 4km); nur über die Wintermonate, wenigstens von Dezember bis März, haben meine Eltern darauf bestanden, dass ich mit dem Bus fahre.
Und das Busunternehmen war an sich so ein Sauhaufen, dass das allein schon oft der Grund für eine Verspätung war, denn sie haben im Schulbusverkehr uralte, mangelhaft gewartete Fahrzeuge eingesetzt, und Fahrer, die wohl ihren Führerschein in den Haferflocken gefunden hatten.

So kamen wir einen Morgen eine halbe Stunde zu spät, weil dem wartenden Bus die Bremsen eingefroren waren; ein anderes Mal, weil an einer leichten Steigung mit etwas Reifglätte kein Durchkommen war (ein wenig Profil auf den Reifen soll Wunder wirken); dann einmal, weil der Busfahrer sich nicht in der Lage sah, an einer Baustelle mit einseitiger Sperrung der Straße vorbeizufahren, obwohl in 15min einige Lastzüge bewiesen, dass eigentlich noch reichlich Platz war.
Immer wieder lustig. Wenn also im Winter die Schüler aus Schnait mal wieder zu spät kamen, wussten manche Lehrer schon Bescheid: "Ihr kommt mit dem Bus? Alles klar."

PS: Gute Nacht ;-)

Danke, ebenso.

Ciao,
 Martin

[hotti]

Mahlzeit,

Es ist also mNm nur spannend, Deiner Robots eine separate Angabe mitzugeben, wenn Dein Server eine andere Grundeinstellung hat, als Du sie für einzelne Ressourcen tatsächlich benutzen willst.

Ja, genau, das isses ja. Und ich Depp hab Euch das wieder vorenthalten. Also, bei mir isses so, dass der meiste Content (noch) in charset ISO-8859-1 ausgeliefert wird.

Rein zufällig (*g) hab ich mich die Woche mit der sitemap-Thematik befasst und da steht, dass eine sitemap.xml in utf-8 kodiert sein soll. Und da hab ich mir eben gedacht, dass ich das bei meiner robots.txt auch so mache.

Viele Grüße,
Horst Haselhuhn

[MudGuard]

Hi,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein

print "Content-type: text/plain; charset=UTF-8\n\n";

ausgebe, bevor ich die robots.txt folgen lasse.

Das ist dann ok, wenn die robots.txt auch tatsächlich UTF-8-kodiert folgt.
Wenn die robots.txt in einer anderen Kodierung folgt, ist es natürlich nicht ok.

(Da andererseits - da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte - nur ASCII-Zeichen enthalten sein dürften, wäre jede andere Kodierung, die in den unteren 127 Zeichen ASCII-kompatibel ist, auch recht)

cu,
Andreas

[Der Martin]

Hallo Andreas,

(Da andererseits - da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte - nur ASCII-Zeichen enthalten sein dürften, wäre jede andere Kodierung, die in den unteren 127 Zeichen ASCII-kompatibel ist, auch recht)

ich stimme im Prinzip zu - ja, etwas Exotisches wie EBCDIC wäre in der Tat höchst unpraktisch. *g*
Nahezu jede andere ISO-Latin-sonstwas-Codierung ist jedoch bis 0x7F mit ASCII identisch, in dem Bereich sogar UTF-8.

Aber die robots.txt enthält ja nicht nur Verzeichnisnamen, sondern ggf. auch UA-Namen, um spezifische Verbote zu formulieren. Und der UA kann AFAIR auch Zeichen außerhalb des ASCII-Bereichs enthalten. Ob das empfehlenswert ist, wäre wieder eine andere Frage.

Schönen Sonntag noch,
 Martin

[Gunnar Bittersmann]

@@MudGuard:

nuqneH

da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte

Sollte man?

In dem Sinne, sich auf bestehenden Systemen keine Probleme einzuhandeln – ja.

Im Sinne gelungener Internationalisierung sollte man das keinesfalls tun müssen.

Sprecher von Sprachen, die nicht in lateinischer Schrift geschrieben werden, sollten Computer bedienen können, ohne einen einzigen lateinischen Buchstaben zu kennen. Ein Chinese sollte für Verzeichnisse/Dateinamen CJK-Zeichen verwenden können.

Es ist Aufgabe, des Betriebssystems/der Serversoftware/…, mit sämtlichen Unicode-Zeichen umgehen zu können.

Nicht der Mensch soll sich der Technik anpassen, sondern die Technik dem Menschen.

Qapla'

[MudGuard]

Hi,

da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte
Sollte man?

Das ist einfach meine Erfahrung aus vielen Jahren der Programmierung.
Verwendet man andere Zeichen als a-zA-Z0-9._ für Dateinamen, führt das über kurz oder lang zu Problemen.

cu,
Andreas

[Gunnar Bittersmann]

@@MudGuard:

nuqneH

Verwendet man andere Zeichen als a-zA-Z0-9._ für Dateinamen, führt das über kurz oder lang zu Problemen.

War doch meine Aussage: Das tut es, sollte es aber nicht.

Qapla'