os: Was tun, wenn der Such-Spider spinnt?

Beitrag lesen

Hi,

seit Wochen belastet eine Engine die Statistik und Performance einer meiner Websites erheblich. Alles was sie hinterlässt ist die IP: 198.139.155.30 und der Zeitpunkt (nämlich stündlich, und das seit Wochen!!!). Die Suche nach "198.139.155.30" bei google zeigte, dass es anderen Websitebetreibern nicht anders geht.

Nachforschungen über diese IP haben folgendes ergeben:

#  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #
Verio, Inc. (NET-VRIO-198-138)
   8005 South Chester Street
   Englewood, CO 80112
   US

Netname: VRIO-198-138
   Netblock: 198.138.0.0 - 198.139.255.255
   Maintainer: VRIO

Coordinator:
      Verio, Inc.  (VIA4-ORG-ARIN)  vipar@verio.net
      303.645.1900

Domain System inverse mapping provided by:

NS0.VERIO.NET  129.250.15.61
   NS1.VERIO.NET  204.91.99.140
   NS2.VERIO.NET  129.250.31.190

********************************************
   Reassignment information for this block is
   available at rwhois.verio.net port 4321
   ********************************************

Record last updated on 26-Sep-2001.
   Database last updated on  17-Jan-2002 19:56:07 EDT.
#  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #  #

Leider werden E-Mails an diese Firma (vipar@verio.net und abuse@verio.net) ignorant und automatisch oder gar nicht beantwortet. Offensichtlich muss man erst Kunde sein um irgendjemanden zu erreichen.

Nun meine Frage:
Kennt jemand den USER-AGENT zu der IP:198.139.155.30, damit ich die robots.txt* entsprechend einrichten kann??? Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?

mfg,os

* für Unkundige:
http://selfhtml.teamone.de/diverses/robots.htm