nicht angemeldet
Alte Einträge aus Suchmaschinen entfernen
Hallo,
ich habe bei der Logfile auswertung herausgefunden, das in den Suchmaschinen noch ziemlich viel Müll schlummert. Dokumente, die es schon seit 2+ Jahren nicht mehr gibt werden noch requestet...
Wie kann ich diese Mülleinträge aus den Suchmaschinen verbannen? Kann ich die robots.txt dazu benutzen, das nur die Index-Seiten in den Suchmachinen vorkommen?
Mein Provider hat auch des öfteren die URL-Struktur geändert:
http://sites.inka.de/sleipnir/, http://sites.inka.de/sites/sleipnir/, http://sites.inka.de/~sleipnir/
http://sites.inka.de/~W1541/ etc.
Kann ich die Suchdienste so weit beeinflussen, das nur noch die aktuelle gültig ist?
Wie werde ich den ganzen Müll los? Das sind nun schon knapp 500 failed Requests durch solche Dinger (in 154 Tage).
Wie kann ich Abhilfe schaffen?
Gruß,
Benni
-
Hallo,
ich habe bei der Logfile auswertung herausgefunden, das in den Suchmaschinen noch ziemlich viel Müll schlummert. Dokumente, die es schon seit 2+ Jahren nicht mehr gibt werden noch requestet...
»»
Wie kann ich diese Mülleinträge aus den Suchmaschinen verbannen? Kann ich die robots.txt dazu benutzen, das nur die Index-Seiten in den Suchmachinen vorkommen?
Mein Provider hat auch des öfteren die URL-Struktur geändert:
http://sites.inka.de/sleipnir/, http://sites.inka.de/sites/sleipnir/, http://sites.inka.de/~sleipnir/
http://sites.inka.de/~W1541/ etc.
Kann ich die Suchdienste so weit beeinflussen, das nur noch die aktuelle gültig ist?Als "Untermeiter" bringt Dir die robots.txt so und so nichts. Die robot.txt muß immer ins Rootverzeichnis, also inka.de/ und sites.inka.de/. Woanders ist sie unbrauchbar, weil der robot zuerst ins Rootverzeichnis schaut!
Wie werde ich den ganzen Müll los? Das sind nun schon knapp 500 failed Requests durch solche Dinger (in 154 Tage).
Den Robot auf Deine Seite jagen, alle Dateien die nicht mehr vorhanden sind, werden in der Regel aus der Datenbank entfernt. Gebe also bei "Add URL" auch die nicht mehr gültigen Adressen bzw. Verzeichnisstrukturen an.
Was ich mal gemacht habe. Ich hatte eine Verzeichnisstruktur, die ich nicht mehr wollte. Auf der ersten/einer Seite habe ich Links zu den ganzen "alten Seiten" gelegt. Auf den alten Seiten hat der Robot aber nichts gefunden, entweder gab es sie nicht mehr, oder es war einfach nichts drauf. Die Seiten müßten dadurch aus der Datenbank verschwunden sein, oder sind ganz weit nach hinten gerutscht.
Einige wichtige Seiten, für "Wiederbesucher", habe ich die Links (für die neue Seitenstruktur" mit einem JavaScript erzeugt ( document.write ). Links in JavaScript‚s kann der Robot nicht verfolgen. Für die Leute die JavaScript ausgeschaltet haben, steht ein Hinweis auf der Seite.
André