Hallo!
Ich will in meiner robots.txt den Suchmaschinenspidern erlauben, die ganze Webseite zu durchsuchen.
Leider habe ich weder im Forum noch in selfhtml selber gefunden, wie man das *genau* macht.
Was ist richtig:
User-agent: *
Disallow:
oder
User-agent: *
Allow: *
Vielen Dank für eure Antworten.
Sveni