robot.txt obligatorisch?

[parley]

Ich hab grad ein paar Logfiles ausgewertet und daraus gesehen das anscheinend ein paar Robots meine robot.txt einsehen wollten.
Da ich allerdings keine habe (habe auch keine Seiten die ich evtl. sperren will etc.), frage ich mich nun ob sich dadurch nachteile bei der Indizierung ergeben könnten ...
Also ist eine Robot.txt obligatorisch bzw. von Vorteil?

[Cheatah]

Hi,

Da ich allerdings keine habe (habe auch keine Seiten die ich evtl. sperren will etc.), frage ich mich nun ob sich dadurch nachteile bei der Indizierung ergeben könnten ...

sollten eigentlich nicht.

Also ist eine Robot.txt obligatorisch bzw. von Vorteil?

Sie ist mindestens strongly recommended - und sei es nur, weil sie kleiner ist als die zugehörige 404-Seite und somit Traffic spart.

Cheatah

[parley]

Also eigentlich steht in einer Robot.txt doch nur was der Spider/Bot nicht einsehen darf, oder?
Also was soll ich dann da rein schreiben, wenn ich doch eigentlich keine Seiten habe die "gesperrt" werden sollen ...

[astelix]

Hi,

entweder legst Du nur eine leere Datei an oder mit folgemdem Inhalt:

User-agent: *

Gruß
astelix

[Christoph Schnauß]

hallo Cheatah,

Also ist eine Robot.txt obligatorisch bzw. von Vorteil?
Sie ist mindestens strongly recommended

Kann es sein, daß du ausnahmsweise mal irrst? Dieser Dateiname ist vollkommen uninteressant ...

*g*

Grüße aus Berlin

Christoph S.

[Cheatah]

Hi,

Also ist eine Robot.txt obligatorisch bzw. von Vorteil?
Sie ist mindestens strongly recommended
Kann es sein, daß du ausnahmsweise mal irrst? Dieser Dateiname ist vollkommen uninteressant ...

jiargl. Der _Datei_name ist ohnehin irrelevant, solange nur die URI passt.

*g*

Re :-)

Cheatah

[parley]

Kann es sein, daß du ausnahmsweise mal irrst? Dieser Dateiname ist vollkommen uninteressant ...

man kann ja mal ein s vergessen, meine güte ....

[Christoph Schnauß]

hallo,

man kann ja mal ein s vergessen, meine güte ...

womit man die Bösewichte auch schon ausgetrickst hätte. Klappt in diesem Fall bloß nicht. Genuaeres liest du bitte gelegentlich in http://httpd.apache.org/docs-2.0/misc/rewriteguide.html#access nach.

Grüße aus Berlin

Christoph S.

[lulu]

Huhu

Also ist eine robots.txt obligatorisch bzw. von Vorteil?

zumindest hast Du dann keine (weniger) 404er im Logfile stehen.
Ich lege deshalb auch immer ein favicon an, auch wenn das dann manchmal nur ein Bild von 10 weissen Elefanten die im Schnee spielen ist.

http://www.robotstxt.org/wc/faq.html

Viele Grüße

lulu

[Christian Kruse]

你好 lulu,

Ich lege deshalb auch immer ein favicon an, auch wenn das dann manchmal
nur ein Bild von 10 weissen Elefanten die im Schnee spielen ist.

Ich sag nur:

RedirectPermanent /favicon.ico http://microsoft.com/does/spam/my/logfiles/

;-)

再见,
 CK

[CarstenP]

Hallo Christian,

RedirectPermanent /favicon.ico http://microsoft.com/does/spam/my/logfiles/

Naja, das war einmal. Die Firefoxes, Operas, Safaris, Konquerors da draußen, die das Favicon bei jedem Besuch (auch ohne daß die Seite in den Bookmarks abgelegt wird) abrufen, dürften mittlerweile den größten Teil der Anfragen ausmachen...

Viele Grüße
Carsten

[Christian Kruse]

你好 CarstenP,

RedirectPermanent /favicon.ico http://microsoft.com/does/spam/my/logfiles/

Naja, das war einmal. Die Firefoxes, Operas, Safaris, Konquerors da
draußen, die das Favicon bei jedem Besuch (auch ohne daß die Seite in
den Bookmarks abgelegt wird) abrufen, dürften mittlerweile den größten
Teil der Anfragen ausmachen...

Jepp. Aber die Erfindung ist von MS... ;-)
Nein, dieses Redirect stammt noch aus Zeiten, wo ausschliesslich der IE das
konnte, da habe ich das mal auf einer Mailingliste gelesen.

再见,
 CK

[Sven Rautenberg]

Moin!

RedirectPermanent /favicon.ico http://microsoft.com/does/spam/my/logfiles/

Naja, das war einmal. Die Firefoxes, Operas, Safaris, Konquerors da draußen, die das Favicon bei jedem Besuch (auch ohne daß die Seite in den Bookmarks abgelegt wird) abrufen, dürften mittlerweile den größten Teil der Anfragen ausmachen...

Im Gegensatz zum IE rufen diese das Favicon aber nur dann ab, wenn es per <link> im Quelltext der Seite referenziert wird - was die Wahrscheinlichkeit, dass es dann tatsächlich auch existiert, sehr hebt.

Praktischerweise muß das Favicon.ico dann auch nicht mehr so heißen und auch nicht im Hauptverzeichnis der Domain liegen, was für viele Menschen, die zwar ein Favicon haben wollen, aber keinen Zugriff auf das Hauptverzeichnis der benutzten Domain haben, sicher eine Erleichterung ist.

- Sven Rautenberg

[CarstenP]

Hallo Sven,

Im Gegensatz zum IE rufen diese das Favicon aber nur dann ab, wenn es per <link> im Quelltext der Seite referenziert wird - was die Wahrscheinlichkeit, dass es dann tatsächlich auch existiert, sehr hebt.

Ja, sie rufen zuerst das Favicon ab, das per <link> referenziert wird. Wenn sie hier aber nichts finden, dann suchen sie nach /favicon.ico. In den Geckos kann man dies durch einen Prefs-Eintrag steuern: browser.chrome.favicons. Während in Mozilla meines Wissens der Default-Wert "false" ist, ist er in Firefox "true". Ob man es in Opera einstellen kann, weiß ich nicht, aber auch er sucht standardmäßig nach /favicon.ico, wenn er kein referenziertes Favicon findet.

Praktischerweise muß das Favicon.ico dann auch nicht mehr so heißen und auch nicht im Hauptverzeichnis der Domain liegen, was für viele Menschen, die zwar ein Favicon haben wollen, aber keinen Zugriff auf das Hauptverzeichnis der benutzten Domain haben, sicher eine Erleichterung ist.

Ja, praktiziere ich selbst auch ... ;-)

Viele Grüße
Carsten

[Orlando]

Hallo Carsten,

Hallo Sven,

Im Gegensatz zum IE rufen diese das Favicon aber nur dann ab, wenn es per <link> im Quelltext der Seite referenziert wird - was die Wahrscheinlichkeit, dass es dann tatsächlich auch existiert, sehr hebt.

Ob man es in Opera einstellen kann, weiß ich nicht,

Einstellungen → Multimedia → Symbole der Webseiten

oder direkt über die opera6.ini im Abschnitt [Multimedia]:

Always load favicon=n (n=0|1|2)

aber auch er sucht standardmäßig nach /favicon.ico, wenn er kein referenziertes Favicon findet.

Ja, leider.

Grüße,
 Roland

[CarstenP]

Hallo Orlando,

Ob man es in Opera einstellen kann, weiß ich nicht,

Einstellungen → Multimedia → Symbole der Webseiten

*grml* Da hatte ich vor meinem Posting extra noch einmal reingeschaut, aber irgendwie habe ich ein Häkchen gesucht. Das Dropdown-Menü ist mir irgendwie verborgen geblieben... ;-)

Danke und viele Grüße
Carsten

[Christoph Schnauß]

hi,

Ich hab grad ein paar Logfiles ausgewertet und daraus gesehen das anscheinend ein paar Robots meine robot.txt einsehen wollten.

Schlecht gesehen. Denn in der Zeile, in der steht, daß diese Kumpels unbedingt deine robots.txt lesen wollten, steht auch ein Statuscode. Das sollte 403 sein.

Da ich allerdings keine habe (habe auch keine Seiten die ich evtl. sperren will etc.), frage ich mich nun ob sich dadurch nachteile bei der Indizierung ergeben könnten ...

Schön. Und was antwortest du dir darauf?

Also ist eine Robot.txt obligatorisch

Nein. Eine Datei mit diesem Namen ist vollkommen uninteressant.

bzw. von Vorteil?

Ja. Allerdings sollte sie den Bösewichten zu Gefallen wirklich "robots.txt" heißen  -  lies nochmal http://de.selfhtml.org/diverses/robots.htm nach, auch wenn du das selbstverständlich schon beinahe auswendig kennst.

Grüße aus Berlin

Christoph S.

[Christian Kruse]

你好 Christoph,

frei nach Nuhr: wenn man keine Ahnung hat, einfach mal die Fresse halten.

再见,
 CK

[Lucas]

Hallo Christoph Schnauß,

schön, dass du dich wie eine Antwortmaschiene verhälst, dann werde ich ab sofort meine Fragen nur noch an dich richten! Mal im Ernst: Man kanns auch etwas netter angehen!

Mit freundlichen Grüßen, Lucas