Gunnar Bittersmann: Zugang nur Passwort - auch Spider?

Beitrag lesen

Hello out there!

dann muss ich also keine disallow einträge in der robots.txt definieren.

Was aber dennoch nicht schaden würde. Dann müsste der Spider nicht erst die Ressourcen anfordern um festzustellen, dass er sie nicht lesen kann.

See ya up the road,
Gunnar

--
„Wer Gründe anhört, kommt in Gefahr nachzugeben.“ (Goethe)