Google konforme Robots.txt

[Cartsen28]

Hi @all,
ich habe folgende ROBOTS.TXT:

User-agent: Googlebot
Allow: /
Disallow: /intern/
Disallow: /privat/
Disallow: /bilder/

User-agent: *
Disallow: /

Mein Ziel: Nur die Suchmaschine Gogle soll meine Seite listen dürfen (wobei spezeille Bereiche gesperrt sein sollen)

Ich habe vor über 2 Monaten meine Seite bei Google angemeldet. Aber sie ist immer noch nicht in Google gelistet. Seltsamerweise ist sie zeitweise (aber sehr selten!) auffindbar, dann aber immer nur die Startseite und nicht die Unterseiten.

Habe ich etwas in der ROBOTS.TXT falsch gemacht?

mfg Carsten

[Linksetzer]

Habe ich etwas in der ROBOTS.TXT falsch gemacht?

http://www.google.com/intl/de/webmasters/faq.html#nonindex
http://selfhtml.teamone.de/diverses/robots.htm
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

[Sönke Tesch]

Allow: /
Disallow: /intern/
Disallow: /privat/
Disallow: /bilder/

Die robots.txt wird von oben nach unten abgearbeitet, der erste Treffer zählt. Ein Treffer bedeutet, daß die jeweilige Zeile rein textmäßig mit dem Anfang der gesuchten Adresse übereinstimmt.
Sofern Google Allow kennt, bedeutet das, daß Deine Disallow-Zeilen oben keinerlei Funktion haben, denn wirklich jede Adresse beginnt mit einem Schrägstrich und passt somit auf die erste Allow-Zeile.

Ich habe vor über 2 Monaten meine Seite bei Google angemeldet. Aber sie ist immer noch nicht in Google gelistet. Seltsamerweise ist sie zeitweise (aber sehr selten!) auffindbar, dann aber immer nur die Startseite und nicht die Unterseiten.

Zum Thema "Google", "Anmeldung" und der Bearbeitungsdauer durchsuche bitte das Archiv, diese Frage kommt in letzter Zeit beinahe wöchentlich. Eventuell steckt eine sogar nach etwas weiter unten im Forum.
Daß Du unterschiedliche Suchergebnisse bekommst, kann daran liegen, daß Google verschiedene Serverstandorte hat, die nicht unbedingt alle den gleichen Datenstand haben müssen. Vielleicht wurde zwischendurch auch an dem Bewertungsalgorythmus gespielt.
Deine Seiten kannst Du mit etwas Geschick über das site:-Anhängsel anzeigen lassen, z.B. eine Suche nach "und site:example.com".
Auf brauchbare Verweise zwischen Deinen Seiten (<a href="bla.html"> und nichts anderes) hast Du sicherlich geachtet.

Gruß,
  soenk.e

[Stefan Einspender]

Hallo Sönke,

Deine Seiten kannst Du mit etwas Geschick über das site:-Anhängsel anzeigen lassen, z.B. eine Suche nach "und site:example.com".

http://www.google.com/search?q=inurl%3Akino+site%3Akino-fahrplan.de
oder http://www.google.com/search?q=-qy+site%3Akino-fahrplan.de ist
imho besser geeignet, schließlich kommt nicht auf jeder Seite unbe-
dingt das Wort "und" vor ;-)

Viele Grüße,
Stefan

[Sönke Tesch]

Deine Seiten kannst Du mit etwas Geschick über das site:-Anhängsel anzeigen lassen, z.B. eine Suche nach "und site:example.com".

http://www.google.com/search?q=inurl%3Akino+site%3Akino-fahrplan.de
oder http://www.google.com/search?q=-qy+site%3Akino-fahrplan.de ist
imho besser geeignet, schließlich kommt nicht auf jeder Seite unbe-
dingt das Wort "und" vor ;-)

Das Leben kann so einfach sein :)

Gruß,
  soenk.e

PS: Wo zur Hölle kommen die 357 Seiten her, die Google angeblich von mir haben will? ;)

[emu]

Hallo!

PS: Wo zur Hölle kommen die 357 Seiten her, die Google angeblich von mir haben will?

Du bist ohnehin einer der mysteriösesten Personen hier. Außer, dass du schon einmal in Amerika warst und Kinopläne bastelst, weiß ich gar nichts von dir :-)

emu

[Sönke Tesch]

Du bist ohnehin einer der mysteriösesten Personen hier. Außer, dass du schon einmal in Amerika warst und Kinopläne bastelst, weiß ich gar nichts von dir :-)

Du kennst meinen Namen, das ist immerhin schon mehr als bei einigen anderen daueranwesenden Personen :)

Gruß,
  soenk.e

[Andres Freund]

Hi,

Du kennst meinen Namen, das ist immerhin schon mehr als bei einigen anderen daueranwesenden Personen :)

Nur so mal als Frage: Bei welchem Stammposter kann man mit ein bisschen Intelligenz den Namen nicht herausbekommen?

Grüße
Andres Freund

[Carsten28]

Bei Google gelten übrigens -abweichend vom Robots.txt Standard - extra Regelen:

*******************************
Zitat:
Es gibt einen kleinen Unterschied zwischen der Art, wie Googlebot die Datei robots.txt verarbeitet, und der durch den robots.txt-Standard empfohlenen Vorgehensweise (hier ist die Unterscheidung zwischen "empfohlen" und "vorgeschrieben" wichtig). Der Standard empfiehlt, die erste in Frage kommende Regel zu beachten. Googlebot richtet sich jedoch nach der längsten in Frage kommenden Regel (d.h. nach der, die die spezifischsten Informationen enthält). Diese intuitivere Vorgehensweise entspricht dem, was Menschen tatsächlich tun und was sie von uns erwarten. Nehmen wir als Beispiel den folgenden Eintrag in der Datei robots.txt:

User-Agent: *
 Allow: /
 Disallow: /cgi-bin
Es ist offensichtlich, dass hier den Robots erlaubt werden soll, alles bis auf das Verzeichnis /cgi-bin zu durchlaufen. Das ist dann auch genau das, was unser Robot tut.
*******************************

[Sönke Tesch]

Bei Google gelten übrigens -abweichend vom Robots.txt Standard - extra Regelen:

Allow: /
Disallow: /cgi-bin
Es ist offensichtlich, dass hier den Robots erlaubt werden soll, alles bis auf das Verzeichnis /cgi-bin zu durchlaufen. Das ist dann auch genau das, was unser Robot tut.

Na Hurra, "Microsoft, ick hör' dir trappsen" :(

Gruß,
  soenk.e