Hallo Sascha,
die robots.txt kann jeder lesen. Wenn du da reinschreibst, diese Datei ist geheim und soll nicht gelistet weden, ist das so, als ob du an eine Gehimtür einen Zettel hängst mit „Geheimtür “drauf.
Wenn ein Bot eine Datei besucht hat, dann hat ihm jemand die Url verraten. Es muss also in den Weiten des Internts einen link auf die Datei geben oder gegeben haben.
Gruß Jürgen