nicht angemeldet
Was tun, wenn der Such-Spider spinnt?
Hi,
seit Wochen belastet eine Engine die Statistik und Performance einer meiner Websites erheblich. Alles was sie hinterlässt ist die IP: 198.139.155.30 und der Zeitpunkt (nämlich stündlich, und das seit Wochen!!!). Die Suche nach "198.139.155.30" bei google zeigte, dass es anderen Websitebetreibern nicht anders geht.
Nachforschungen über diese IP haben folgendes ergeben:
# # # # # # # # # # # # # # # # # #
Verio, Inc. (NET-VRIO-198-138)
8005 South Chester Street
Englewood, CO 80112
US
Netname: VRIO-198-138
Netblock: 198.138.0.0 - 198.139.255.255
Maintainer: VRIO
Coordinator:
Verio, Inc. (VIA4-ORG-ARIN) vipar@verio.net
303.645.1900
Domain System inverse mapping provided by:
NS0.VERIO.NET 129.250.15.61
NS1.VERIO.NET 204.91.99.140
NS2.VERIO.NET 129.250.31.190
********************************************
Reassignment information for this block is
available at rwhois.verio.net port 4321
********************************************
Record last updated on 26-Sep-2001.
Database last updated on 17-Jan-2002 19:56:07 EDT.
# # # # # # # # # # # # # # # # # #
Leider werden E-Mails an diese Firma (vipar@verio.net und abuse@verio.net) ignorant und automatisch oder gar nicht beantwortet. Offensichtlich muss man erst Kunde sein um irgendjemanden zu erreichen.
Nun meine Frage:
Kennt jemand den USER-AGENT zu der IP:198.139.155.30, damit ich die robots.txt* entsprechend einrichten kann??? Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?
mfg,os
* für Unkundige:
http://selfhtml.teamone.de/diverses/robots.htm
-
Hi!
Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?
---
Robots die durchdrehen fliegen raus
User-agent: GagaRobot
Disallow: /
---Zitat : http://www.suchfibel.de/6gefunden/robotstxt.htm
Gruß,
Dirk-
Robots die durchdrehen fliegen raus
User-agent: GagaRobot
Disallow: /Das würde passen, wenn die besagte Engine zufällig "GagaRobot" hieße (von dieser Internetseite hab' ich übrigens den Ausdruck "Gaga", was vom Englischen ins Deutsch übersetzt soviel wie "Verblödeter" oder "Plemplem" heißt. :)
Ich denk mal "GagaRobot" ist ein erläuternder Platzhalter.
mfg,os
-
Hi,
Ich denk mal "GagaRobot" ist ein erläuternder Platzhalter.
*lol* jetzt wo Du's sagst. Hätt ich auch selbst drauf kommen
können... ;-)Gruß,
Dirk
-
-
-
Moin!
Nun meine Frage:
Kennt jemand den USER-AGENT zu der IP:198.139.155.30, damit ich die robots.txt* entsprechend einrichten kann??? Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?Wenn das man überhaupt eine Suchmaschine ist. Klingt eher wie ein etwas fehlgeleiteter DoS-Angriff...
Außerdem: Wenn du die IP-Adresse hast, dann sollte in den Logfiles duch auch der User-Agent drinstehen - oder hast du kein "combined"-Format? Das wäre dann schade.
Wenn dich das Vorgehen stört, bleibt eigentlich nichts anderes übrig, als die Adresse komplett von der Nutzung deiner Website auszuschließen. Also entweder im Apache
deny from IP-ADRESSE
konfigurieren, oder noch besser die Adresse gleich an der Firewall sperren.
Die "harmlosere" Methode wäre, diese einzelne IP-Adresse immer auf eine Standardseite umzuleiten, die nicht soviel Performance frißt, also im Idealfall eine kurze HTML-Seite. Da kann man dann Erklärungen draufpacken, warum der Nutzer nix anderes zu sehen kriegt.
Bei richtigen DoS-Angriffen arbeitet man am besten mit seinem Provider zusammen, damit der seine Router entsprechend einrichtet. Dann kommt der böse Datenverkehr garnicht erst ins eigene Netz. Mehr dazu steht übrigend bei http://grc.com - die hatten mal einen DDoS-Angriff, und Steve Gibson hat einen _SEHR_ interessanten Report darüber geschrieben - inklusive einer kompletten Analyse des Tools, welches für den Angriff verwendet wurde. :)
- Sven Rautenberg
-
Hi,
deny from IP-ADRESSE
Geht das auch mit .htaccess?
»»Mehr dazu steht übrigend bei [http://grc.com] - die hatten mal einen DDoS-Angriff, und Steve Gibson hat einen _SEHR_ interessanten Report darüber geschrieben - inklusive einer kompletten Analyse des Tools, welches für den Angriff verwendet wurde. :)
Danke Sven, der Link ist ein wenig ungenau. Bei den vielen Bannern kann man diesen Artikel mit der Lupe suchen.mfg,os
-
deny from IP-ADRESSE
Geht das auch mit .htaccess?
-
-
-
Hi,
Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?
URL-Rewriting, das jeden Zugriff von dieser IP-Adresse auf sie selbst
zurück leitet? Das wäre 'gerecht' ...Viele Grüße
Michael-
Wie kann man sich sonst vor solchen "GAGA-Engines" schützen?
URL-Rewriting, das jeden Zugriff von dieser IP-Adresse auf sie selbst
zurück leitet? Das wäre 'gerecht' ...Klingt gut!
Wie richtet man so was ein?
Unter http://www.198.139.155.30.de ....com ....net oder ....org meldet sich jedenfalls nichts, mehr Infos als die IP konnte mein Statistikprogramm nicht erkennen und Zugriff auf den Server oder die Logfiles hab ich nicht. :-|mfg,os
-
Hi,
Unter http://www.198.139.155.30.de ....com ....net oder ....org
meldet sich jedenfalls nichtsUnter http://198.139.155.30/ leider ;-) auch nicht.
Viele Grüße
Michael
-
-
-
...
Auch eine weitere freundliche Nachfrage bei VIPAR abuse@verio.net, diesmal mit dem geforderten "[NTT/VERIO #137335]" im Betreff blieb unbeantwortet, hatte jedoch zur Folge, dass ich seit dem 26.1.2002 04:43 Uhr nun auf meiner eigenen Website Besuch von einer IP (198.139.155.7) aus dem selben Netblock (198.138.0.0 - 198.139.255.255) bekomme; seit dem 30.01.2002 01:44 Uhr stündlich (198.139.155.7 ist anderen Statistiken zufolge offensichtlich auch so ein "Dauerbrenner" wie 189.139.155.30).
Zufall??
Die andere Website (eben erst registriert, erstellt und frisch bei den Suchmaschinen angemeldet) wird nach wie vor Stunde um Stunde von IP 189.139.155.30 "heimgesucht".Leider habe ich weder internen Zugriff auf den Server meines Providers, noch auf die Logfiles.
Vielleicht kann einmal jemand sein Logfile öffnen und nachsehen, ob die IPs 189.139.155.30 und 198.139.155.7 aufgeführt sind (bestimmt!) um mir die zugehörigen User-Agents mitzuteilen ???
mfg,os
-
Hi,
Leider habe ich weder internen Zugriff auf den Server meines Providers,
noch auf die Logfiles.Aber diese Anfragen müllen auch Deinem Provider die Leitung zu.
Erzähle ihm doch mal Deine Geschichte und bitte ihn, die IP-Adresse (denn
es ist ja eine feste) generell vom Netz dieses Providers auszuschließen
(via Firewall). Das blockt den Traffic schon an der Autobahnabfahrt.Viele Grüße
Michael
-