nicht angemeldet
Per robots.txt auf andere Url verweisen
Hallo,
weiß jemand, ob ich nicht nur per robots.txt den Hinweis einbauen kann, daß bestimmte Bereiche nicht durchsucht werden, sondern auf eine andere Url zum durchsuchen verweisen?
-
weiß jemand, ob ich nicht nur per robots.txt den Hinweis einbauen kann, daß bestimmte Bereiche nicht durchsucht werden, sondern auf eine andere Url zum durchsuchen verweisen?
Alles, was nicht in der robots.txt steht und verlinkt ist, wird potentiell durchsucht. Wenn es nicht zu tief verlinkt ist und zu viele Seiten auf einer Domain. Um robots irgendwohin zu schicken, meldet man die fragliche Seite einfach an.
Gruss, Stefan Karzauninkat