ich gehe einfach mal davon aus, dass bei Intranetseiten ein weiterer Schutz außer security by obscurity vorliegt.
Nur bei Seiten, bei denen es nötig ist. Da es sich um 90% um Entwicklungen auf Basis meines CMS handelt, müsste zumindest die Loginseite gespidert werden, die einzige Intranetadresse von mir ist aber die, die ich in einem Board gepostet habe. Alles hinter der Loginseite ist eh ohne Zugangsdaten nicht erreichbar, deshalb braucht es keinen zusätzlichen Schutz.
Dem Kunden wird natürlich gesagt, dass die Seite von jedem einsebar ist und er auf Wunsch natürlich eine HTTP-Authentication bekommt (ich sag immer, ich schütze die Seite per .htaccess, dann kennen sich die Meisten aus ;))
Offensichtlich werden also solche Seiten nicht gespidert, auch wenn sie gespidert werden könnten. Sonst hätte ich dagegen schon lange was unternommen.