Wofür disallow sinnvoll?

[Lewon]

Hallo,
gerade habe ich gelesen,
dass die Angabe von disallow in der .htaccess nur eine "Empfehlung" ist  und die Robots sich nicht daran halten.
Ist die Angabe daher noch sinnvoll?
Falls ja, Angabe auch nötig für cgi-bin, die Perl-Programme enthält?