nicht angemeldet
Ist die Angabe daher noch sinnvoll?
Sicher - damit kannst du bei ordentlichen Suchmaschinen verhindern, dass Seiten die nicht unbedingt öffentlich sichtbarsein sollen, in den Index wandern.
Falls ja, Angabe auch nötig für cgi-bin, die Perl-Programme enthält?
Nötig ist sie nie, schaden tut es aber nicht.
Was aber viel wichtiger ist: die Angabe unterbindet niemals das ausführen oder aufrufen von Ressourcen.
Denn die "Perl-Programme" also irgendwas bewirken (oder gar Dinge löschen) solltest du das tunlichst verhindern.
Ebenso kann eine robots.txt dafür sorgen, dass erst jemand auf deinen versteckten Inhalt aufmerksam wird. Das passiert immer wieder mal bei den Online-Portalen einschlägiger Zeitungen die da meinen, sie könnten unliebsame Artikel kurzfristig aus den Suchmaschinen verbannen (z.B. Richtigstellungen usw) - aber das geht idR. nach hinten los, weils Leute gibt die immer mal wieder diese Files anschauen um zu sehen, was die Zeitungen da verstecken wollen.