robot.txt +<META NAME="ROBOTS" CONTENT="NOINDEX">

[ursus contionabundo]

<meta name="robots" value="noindex">

(oder die Varianten) sollte man (in Ressourcen vom Content-Type x{0,1}html ZUSÄTZLICH zur robots.txt setzen wenn diese nicht in den Ergebnislisten auftauchen sollen. Die robots.txt hat vor allem die Aufgabe, die "robots" (dazu zählt auch wget) freundlich zu bitten, das Abrufen der darin genannten Ressourcen zu vermeiden.

Will man Sicherheit muss man eben, wie bereits ausführlich diskutiert, einen Passwortschutz oder auch ähnliches verwenden. Dabei ist aber ziemlich egal, ob man den mit htaccess oder durch einen eigenen Mechanismus "baut".