Content Negotiation über den UserAgent

[Michael Schröpl]

Hallo Stefan,

gesperrt. Kurzum, Google ist es letztendlich egal, was ich da wo
nicht indiziert haben will, was irgendwo mal verlinkt wurde, wird
in den Index aufgenommen, egal ob es die Seite noch gibt oder
nicht. So scheint es mir zumindest.

aber wie will er die Seite in seinen Index aufnehmen, wenn er den Inhalt von Dir nicht ausgeliefert bekommt?
Es mag ja sein, daß die Seite über eine "site:your_domain"-Suche dann noch gefunden werden kann, nicht aber über eine Suche nach etwas aus ihrem Inhalt.

Wobei ich gerade sehe, mit 404 liefere ich wohl nix aus, was aber
dann auch wieder den Grund hat, dass 410 ja der korrekte Status-
code ist, wenn es die Ressource nicht mehr gibt. Und dann wäre da
ja noch die robots.txt, ich verstehe es nicht ;-)

Du hast zwei Möglichkeiten: Entweder Du vertraust darauf, daß Google alles richtig macht, oder ... technisch gesehen ist die Alternative nichts anderes als das Suchmaschinen-Spamming, was Google selbst wie die Pest haßt. Aber wenn sie Dir keine andere Möglichkeit lassen?

Viele Grüße
      Michael