Also eigentlich steht in einer Robot.txt doch nur was der Spider/Bot nicht einsehen darf, oder?
Also was soll ich dann da rein schreiben, wenn ich doch eigentlich keine Seiten habe die "gesperrt" werden sollen ...
Also eigentlich steht in einer Robot.txt doch nur was der Spider/Bot nicht einsehen darf, oder?
Also was soll ich dann da rein schreiben, wenn ich doch eigentlich keine Seiten habe die "gesperrt" werden sollen ...