nicht angemeldet
Hallo,
ich habe bei der Logfile auswertung herausgefunden, das in den Suchmaschinen noch ziemlich viel Müll schlummert. Dokumente, die es schon seit 2+ Jahren nicht mehr gibt werden noch requestet...
Wie kann ich diese Mülleinträge aus den Suchmaschinen verbannen? Kann ich die robots.txt dazu benutzen, das nur die Index-Seiten in den Suchmachinen vorkommen?
Mein Provider hat auch des öfteren die URL-Struktur geändert:
http://sites.inka.de/sleipnir/, http://sites.inka.de/sites/sleipnir/, http://sites.inka.de/~sleipnir/
http://sites.inka.de/~W1541/ etc.
Kann ich die Suchdienste so weit beeinflussen, das nur noch die aktuelle gültig ist?
Wie werde ich den ganzen Müll los? Das sind nun schon knapp 500 failed Requests durch solche Dinger (in 154 Tage).
Wie kann ich Abhilfe schaffen?
Gruß,
Benni