nicht angemeldet
robots.txt funktioniert nicht
Hallo,
habe auf einer Testseite bei lycos eine robots.txt eingesetzt:
User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /
User-agent: Google
Disallow: /
Ich weiß, daß ich es Google nciht explizit verbieten muß, nachdem ich es allen verboten habe. Ebenso weiß ich, daß ich nicht 2 Verzeichnisse explizit verbieten muß, wenn ich danach generell alle Verzeichnisse verbiete.
Aber mal davon unabhängig, in meinem Counterscript sehe ich, daß Google munter alle halbe Stunde lustig Seiten indiziert, die ich (ja sogar mehrfach) ausgeschlossen habe.
Ich habe die robots.txt mit inem Texteditor erstellt und im ASCII Format auf den Server in mein (virtuelles) root-verzeichniss gelegt.
Warum hält sich Google nicht daran?
Gruß, Nola
-
hi,
User-agent: Google
ne, so heißt der nicht, guck mal richtig in dein log:
Googlebot/2.1 (+http://www.google.com/bot.html)
--roro
-
Hallo,
ne, so heißt der nicht, guck mal richtig in dein log:
Googlebot/2.1 (+http://www.google.com/bot.html)
... vielleicht hättest du dich auf dem Link mal etwas umschauen sollen, führt nämlich zu http://www.google.com/webmasters/remove.html:
"To remove your site from Google only and prevent just Googlebot from crawling your site in the future, place the following robots.txt file in your server root:
User-agent: Googlebot
Disallow: /"gruss
--
Swiss Army Chainsaw
Terrorific!
Given a cow full of milk, should the milk un-cow itself, or should the cow milk itself?-
Hallo,
ne, so heißt der nicht, guck mal richtig in dein log:
Googlebot/2.1 (+http://www.google.com/bot.html)
... vielleicht hättest du dich auf dem Link mal etwas umschauen sollen, führt nämlich zu http://www.google.com/webmasters/remove.html:
"To remove your site from Google only and prevent just Googlebot from crawling your site in the future, place the following robots.txt file in your server root:
User-agent: Googlebot
Disallow: /"Jo. Und noch einer, der mit meinem LogFile Eintrag was anzufangen weiß ;-)
Das ist ja richtig lustig.
So kenne ich das SelfForum ;-)
Wie oft habch hier gelesen, von Members der SelfCommunity gepostet: Und was sagt das Log? (LogFile)
Nun, jetzt hab ich mir mal erlaubt, eine LogFile - Zeile zu posten, und prompt erhalte ich zwei Hinweise, was _ich_ damit anfangen soll.
Leute, ihr denkt wohl alle, ich bin doof ;-)
Schade, wiedermal um meine Zeit, die ich heute hier verbrachte.
Da hatte ich nur ein kleines Problem weiter unten und hab mir gedacht, dass ich, wenn ich schon mal ne Frage stelle, auch mal nach den anderen Fragern schaue... schade.
--roro
-
Hallo Rolf,
Googlebot/2.1 (+http://www.google.com/bot.html)
User-agent: Googlebot
Nun, jetzt hab ich mir mal erlaubt, eine LogFile - Zeile zu posten, und prompt erhalte ich zwei Hinweise, was _ich_ damit anfangen soll.
Weil deine Antwort in diesem Kontext falsch weil nicht ausführlich genug war. Mit einem „Googlebot/2.1“ in der robots.txt wird man Google nicht fernhalten können, siehe Google-FAQ.
Schade, wiedermal um meine Zeit, die ich heute hier verbrachte.
Nimm’s nicht persönlich → </archiv/2005/3/t103072/#m634695>
Grüße
Roland--
SELFHTML-Community > Visitenkarten > Orlando
Nachwuchsförderung 2.0: »Mami, sieh mal! Ich habe mit CSS eine Tabelle nachgebaut.«
-
-
-
Hallo Rolf,
User-agent: Google
ne, so heißt der nicht, guck mal richtig in dein log:
Googlebot/2.1 (+http://www.google.com/bot.html)
Nein, so heißt er nicht. Richtig wäre
User-agent: Googlebot
Grüße
Roland--
SELFHTML-Community > Visitenkarten > Orlando
Nachwuchsförderung 2.0: »Mami, sieh mal! Ich habe mit CSS eine Tabelle nachgebaut.«-
Hallo Rolf,
User-agent: Google
ne, so heißt der nicht, guck mal richtig in dein log:
Googlebot/2.1 (+http://www.google.com/bot.html)
Nein, so heißt er nicht. Richtig wäre
User-agent: Googlebot
Rischtisch Roland!
Du kannst Logs auswerten ;-)
--roro
-
-
-
Hallo Nola,
Wie lange existiert diese robots.txt denn schon? Google cacht diese Datei (steht irgendwo auf den Googleseiten) und prüft sie nur in größeren Abständen. Es kann also durchaus etwas dauern, bis Google etwas von der Änderung merkt.
Grüße
Daniel
-
Hallo Nola,
Ich habe die robots.txt mit inem Texteditor erstellt und im ASCII Format auf den Server in mein (virtuelles) root-verzeichniss gelegt.
Wo genau hast du sie abgelegt? Nach Speicherort der robots.txt muss selbige in der Root _des Servers_ liegen. Wie sieht dein "(virtuelles) root-verzeichnis" aus?
Viele Grüße,
Jochen