nicht angemeldet
usschliessen, muß die robots.txt dann so aussehen:
robots.txt
User-Agent: * # Alle Suchmaschinen
Disallow: # alles erlaubt
Ja.
Oder kann ich sie ganz weglassen ?
lieber nicht. tut ja nicht weh, und es gibt keine Eintraege im error log, die robots freuen sich auch
gruss, kaz