nicht angemeldet
Danke.
Hab auf Wikipedia (deutsch) geschaut und dort die Wildcards (*) gesehen ... auf http://www.robotstxt.org hätt ich wohl besser auch schauen sollen.
Danke für den Link!
Was mach ich jetzt außer dumm aus der Wäsche schauen? Qualifiziert sich mein PHP Script (Snoopy.class.php, cURL etc.) ein robot, oder darf ich das trotzdem auslesen?
Wohl letzteres, nehm ich an ...
Wie verbrecherisch bin ich wenn ich's trotzdem auslesen würde?
Ich habe leider nur eine deutsch-sprachige Platform gefunden die dafür eine API anbietet ...
Danke nochmals, auch für weiteren Input.