Suchmaschinen und php

[Odium]

Hallo,

Ich dachte die Suchrobots durchforsten nur die Verzeichnisstruktur.

dazu müßte der Robot ja eine Art FTP-Zugriff haben. Er fordert aber auch nur über HTTP eine Seite an und empfängt das geparste ergebnis...

Odium