nicht angemeldet
Bimmelbeule
Rolf B
encoder
JürgenB
Felix Riesterer
Bimmelbeule
Bimmelbeule
Hallo!
Wie ist dazu der neuste Stand? Bin jetzt den ganzen Nachmittag im Interweb getaucht. Ich würde es gerne direkt in der .htaccess Datei festlegen (vorausgesetzt, das hat keine Nachteile). Die einfachste Art scheint zu sein, einfach folgenden Eintrag an die .htaccess Datei an zu hängen:
Gunnar Bittersmann
Tabellenkalk
Auge
Jonny 5Header always set X-Robots-Tag "noimageindex, noai, noimageai"
Oder besser so?
<IfModule mod_headers.c>
Header always set X-Robots-Tag "noimageindex, noai, noimageai"
</IfModule>
Oder gar so was hier (Netzfund)?
# Block AI crawlers
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|Google-Extended|CCBot|anthropic-ai|ClaudeBot|OAI-SearchBot|PerplexityBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
# Declare policy
<IfModule mod_headers.c>
Header always set X-Robots-Tag "noimageindex, noai, noimageai"
</IfModule>
Wie macht ihr das? Wie ist eure Meinung dazu? Tipps? Tricks?
Macht noch ein extra Text auf der Website Sinn? Beispielsweise (Netzfund):
"Der Inhaber dieser Website gestattet die Nutzung oder das Herunterladen von Inhalten dieser Website durch Dritte für die Entwicklung, das Training oder den Betrieb von künstlicher Intelligenz oder anderen maschinellen Lernsystemen ("Text und Data Mining") ausschließlich mit ausdrücklicher schriftlicher Zustimmung des Inhabers. Ohne eine solche Zustimmung ist es untersagt, die Inhalte für Text und Data Mining zu verwenden. Dies gilt auch, wenn auf der Website keine Meta-Angaben vorhanden sind, die entsprechende Verfahren aussperren, und selbst dann, wenn Bots, die den Zweck haben, die Website zu Zwecken des Text und Data Mining auszulesen, nicht ausgesperrt werden."
Lg, Bimmelbeule
Hallo Bimmelbeule,
vergiss die robots.txt nicht. Die wird von einem kooperierenden Bot zuerst gelesen. Der X-Robots-Tag Header wird erst geliefert, wenn die erste Seite schon abgerufen wurde.
Rolf
Hallo!
Ah, Danke, guter Hinweis, Rolf!
Würde dieser Eintrag reichen?
<meta name="robots" content="noai, noimageai, noimageindex">
Oder wäre eine Robots.txt Datei mit einzeln aufgeführten Bots effektiver?
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: ChatGPT-User
Disallow: /
Ist das obige überhaupt noch nötig, wenn man die Bots mit unten stehender Anweisung in der .htaccess Datei blockiert?
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|Google-Extended|CCBot|anthropic-ai|ClaudeBot|OAI-SearchBot|PerplexityBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
Lg, Bimmelbeule
Ich kenne die Abläufe nicht, würde aber aus reiner Intuition eher bezweifeln, dass ein menschenlesbarer Text zu diesem Thema überhaupt gelesen wird, wenn ein Bot eine Seite besucht.
Hallo,
Macht noch ein extra Text auf der Website Sinn? Beispielsweise (Netzfund):
die KI wird den Text lesen, lernen, aber nicht verstehen. Wenn dann aber irgendwann mal jemand nach einen extra Text wegen KI fragt, wird möglicherweise dieser Text als Antwort kommen.
Gruß
Jürgen
Liebe(r) Bimmelbeule,
wenn Du nicht willst, dass jemand etwas mit Deinen Inhalten macht, darfst Du sie nicht ins Internet stellen. Das war auch vor KI schon so.
Liebe Grüße
Felix Riesterer
Gegenfrage: wenn man einem kleinen Kind sagt, daß in der Dose zwar die tollsten Süßigkeiten von allen drin wären, die Dose unbewacht und unverschlossen sei, aber der Inhalt keinesfalls in Kindes Magen landen darf …
KI, jedenfalls die „populär durch die Dörfer getriebene“ Version (es gäbe noch eine, die im Wesentlichen die Kombination von Statistik und “big data” darstellt und beispielsweise „Fotos“ von Schwarzen Löchern anfertigt), kennt exakt nur ein “law&order”. Und das diktiert „die Handelsföderation“ (Star Wars Ep. Ⅰ). Wobei die aktuellen Imperatoren jedoch längst mit diesem „Machtgriff“ begonnen haben, „den Senat abzulösen“ …
Ob man es mit einer Schleife wie bei HAL9000 versucht? Das scheint mir (ebenfalls) sinnfrei zu sein: gerade diese „populären“ Varianten haben absolut nichts gegen “garbage in”. So lange “garbage out” nur kontrovers genug („saukontrovers“ lautete die Vokabel damals bei heise) ausfällt.
Hallo!
@all: Okay, das mit dem Text ist unüberlegter Unsinn (war im letzten Moment vor abschicken des Posts ein Schnellschuss aus der Hüfte)…
[ ] Was? Wenn ich was ins Interweb stelle, können das alle sehen? Das ist ja ein Skandal!1!!
[x] Natürlich will ich, das meine Inhalte gesehen werden. Aber bitte auf meiner Website. Ich will nicht, das sich eine KI mit meinen Federn schmückt. Ist das so ein ungewöhnlicher Wunsch?
@XI: Ich habe mir deinen Beitrag jetzt drei mal durch gelesen; ich verstehe noch immer nicht, was du mir sagen willst…
Lg, Bimmelbeule
Liebe(r) Bimmelbeule,
[ ] Was? Wenn ich was ins Interweb stelle, können das alle sehen? Das ist ja ein Skandal!1!!
nicht nur das, sie können auch alles damit tun, was ihnen beliebt. Ich schreibe absichtlich können und nicht dürfen, denn mit ist wichtig zu betonen, dass Du im Moment der Veröffentlichung auf einer Website Deine Kontrolle über die Verwendungsmöglichkeiten Deines Inhalts abgibst. Das ist bei Printmedien auf Papier anders gelagert, weil man da erst den Schritt der Digitalisierung gehen muss, aber digitale Inhalte auf einer Website sind beliebig kopierbar.
[x] Natürlich will ich, das meine Inhalte gesehen werden. Aber bitte auf meiner Website. Ich will nicht, das sich eine KI mit meinen Federn schmückt. Ist das so ein ungewöhnlicher Wunsch?
Alle technischen Maßnahmen wie robots.txt oder X-Robots-Tag und dergleichen basieren auf dem Prinzip Hoffnung - Hoffnung, dass sich automatisierte Prozesse daran halten. Aber wenn ein Geschäftsmodell offensichtlich darauf ausgelegt ist, sich mit fremden Federn zu schmücken, ist fest davon auszugehen, dass dessen Umsetzung eben genau nicht solche Maßnahmen würdigen wird. Und das ist nachweislich geschehen und wird aller Wahrscheinlichkeit nach auch weiter so geschehen.
Liebe Grüße
Felix Riesterer
Hallo!
[ ] Was? Wenn ich was ins Interweb stelle, können das alle sehen? Das ist ja ein Skandal!1!!
nicht nur das, sie können auch alles damit tun, was ihnen beliebt. Ich schreibe absichtlich können und nicht dürfen, denn mit ist wichtig zu betonen
Ja, das finde ich auch wichtig zu betonen!
[x] Natürlich will ich, das meine Inhalte gesehen werden. Aber bitte auf meiner Website. Ich will nicht, das sich eine KI mit meinen Federn schmückt. Ist das so ein ungewöhnlicher Wunsch?
Alle technischen Maßnahmen wie robots.txt oder X-Robots-Tag und dergleichen basieren auf dem Prinzip Hoffnung - Hoffnung, dass sich automatisierte Prozesse daran halten. Aber wenn ein Geschäftsmodell offensichtlich darauf ausgelegt ist, sich mit fremden Federn zu schmücken, ist fest davon auszugehen, dass dessen Umsetzung eben genau nicht solche Maßnahmen würdigen wird. Und das ist nachweislich geschehen und wird aller Wahrscheinlichkeit nach auch weiter so geschehen.
Ich weiß… aber ich habe tatsächlich die leise Hoffnung, das mittlerweile zumindest die bekannteren KI (ChatGPT, Anthropic, Gemini, etc.) sich an die Anweisungen halten…
Selbst wenn nicht; ich finde das ist kein Grund einfach gar nichts zu machen und den KI-Bots somit praktisch auch noch die Genehmigung zu geben. Ich möchte das zumindest pro forma verbieten.
Liebe Grüße Felix Riesterer
@@Bimmelbeule
Selbst wenn nicht; ich finde das ist kein Grund einfach gar nichts zu machen und den KI-Bots somit praktisch auch noch die Genehmigung zu geben. Ich möchte das zumindest pro forma verbieten.
Such dir ’nen Anwalt des geringsten Misstrauens und verklage die KI-Firmen. Viel Glück!
🖖 Live long and prosper
Ist das so ein ungewöhnlicher Wunsch?
Nein.
Man muss sich allerdings eines bewusst machen.
Die Kontrolle über Daten im Internet zu haben, ist wie ein Buch zu schreiben das jeder lesen, aber niemand abschreiben kann.
Hallo!
Ich teile die offensichtlich hier vorherrschende Meinung nicht, das wenn man Inhalte ins Interweb stellt, diese dann auch gefälligst unwidersprochen jedermann (insbesondere der KI) überlassen werden solle. Für die die es interessiert; hier die ersten (vermutlich noch eher unzureichenden) Maßnahmen die ich getroffen habe.
Eine Aufstellung der (angeblich) aktuellen KI-Bots mit den jeweiligen Funktionen und eine Einschätzung, ob sie den robots.txt respektieren:
Aktuelle KI-Bot Liste
Ich habe mich entschieden erst mal nur die KI-Bots zu blocken, die meine Daten für ihr direktes Training mißbrauchen. Die KI-Assistenten (diese rufen eine URL ab, wenn ein Nutzer die KI auffordert, diese anzuzeigen) und KI-Searchbots (diese bilden den Suchindex, ähnlich Googles Suchindex, den die KI bei der Beantwortung von Anfragen konsultiert) lasse ich im Augenblick noch durch, denn natürlich möchte ich, das meine Seiten auch gefunden werden, wenn man per KI nach ihr sucht (was ja immer mehr Menschen tun).
Die wirksamste Maßnahme ist wohl das harte blocken der KIs in der .htaccess Datei. Allerdings könnten sich die KIs auch einfach beispielsweise als Browser tarnen und sich so Zugang verschaffen. Ich habe hier nur die geblockt, wo (laut obiger Liste) nicht sicher ist, ob sie die robots.txt Datei respektieren:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (anthropic-ai|Bytespider|cohere-ai|Diffbot|facebookexternalhit|Meta-ExternalAgent|Scrapy|Spider|TerraCotta|TikTokSpider|Timpibot|WARDBot|Webzio-Extended|webzio-extended) [NC]
RewriteRule .* - [F,L]
</IfModule>
Zusätzlich habe ich noch folgende robots.txt Datei generiert. Diese ist nicht so effizient, da sie von den Crawlern einfach ignoriert werden können. Ich habe aber – wie schon erwähnt – die leise Hoffnung, das zumindest die größeren KI-Crawler soweit »seriös« geworden sind (seriös werden mussten) das sie sich mittlerweile an die Anweisungen halten. Auch die oben erwähnte Liste deutet darauf hin…
# KI blocken
User-agent: Amazonbot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: ClaudeBot
User-agent: FacebookBot
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GPTBot
User-agent: Meta-Externalagent
User-agent: TerraCotta
Disallow: /
Dann habe ich im Antwort-Header und im <meta name "robots"> das übliche »noai« weg gelassen, weil ich nicht genau weiß, was »noai« alles blockt (falls es überhaupt irgendwas bewirkt). Wie gesagt, ich will ja auch gefunden werden. Ich bin mir auch nicht sicher, ob es sinnvoll ist beides einzusetzen…
<IfModule mod_headers.c>
Header set X-Robots-Tag "noimageai, noimageindex"
</IfModule>
<meta name="robots" content="noimageai, noimageindex">
Von der TDMREP (TDM Reservierungsprotokoll) erhoffe ich mir aktuell nicht viel und habe sie vorläufig weg gelassen:
edrlab.org
Es gibt einige KIBot-Checker zum überprüfen der Einstellungen, die aber meistens nur die robots.txt Datei prüfen und nicht die htaccess Datei. Ausserdem sind alle mehr oder weniger unvollständig. Hier die IMO brauchbarsten…
Checkt auch die htaccess Datei:
seosoon.de
Checkt nur robots.txt (unterstützt aber mehr KI-Bots):
137foundry.com
minoka.de
Einen schönen Tag noch!
Lg, Bimmelbeule
Liebe(r) Bimmelbeule,
Eine Aufstellung der (angeblich) aktuellen KI-Bots mit den jeweiligen Funktionen und eine Einschätzung, ob sie den robots.txt respektieren:
Aktuelle KI-Bot Liste
aha, „angeblich“... und „Einschätzung“. Du hast einen Glaubenssatz entwickelt, nämlich dass es einen Sinn habe, sich hier mit etwas Mühe zu geben, um den eigenen Glauben damit zu befrieden. Du hast absolut keine Garantie, dass das, was Du jetzt unternommen hast, überhaupt einen technischen Nutzen hat. Oder hast Du entsprechende Prüfmöglichkeiten wie passende Log-Dateien?
Ich habe mich entschieden erst mal nur die KI-Bots zu blocken, die meine Daten für ihr direktes Training mißbrauchen.
Woran erkennst Du diese genau?
Die KI-Assistenten (diese rufen eine URL ab, wenn ein Nutzer die KI auffordert, diese anzuzeigen) und KI-Searchbots (diese bilden den Suchindex, ähnlich Googles Suchindex, den die KI bei der Beantwortung von Anfragen konsultiert) lasse ich im Augenblick noch durch, denn natürlich möchte ich, das meine Seiten auch gefunden werden, wenn man per KI nach ihr sucht (was ja immer mehr Menschen tun).
Aha. Also KI darf im Grunde bei Dir genau alles. Nur fühlt es sich für Dich jetzt nicht mehr so an, denn Du hast ja technische Maßnahmen ergriffen, von denen Du glaubst (denn wissen tust Du es nicht), dass sie das leisten, was Du gerne hättest: KI aussperren - äh... KI herein lassen, denn User, die einen KI-Chatbot auf Deine Seite hin ansprechen, sollen ja bedient werden.
Warum sollte ein KI-Chatbot live Deine Seite abgrasen, wenn er sie indiziert hat? Ist das nicht gerade der Sinn des Trainings mit allen erreichbaren Internetinhalten, dass die KI dann solcherlei Inhalte bereits in ihrem Gedächtnis hat? Oder warum verklagen Musiklabels KI-Firmen, weil deren Produkte ganze Songtexte aus dem Gedächtnis wiedergeben können?
Die wirksamste Maßnahme ist wohl das harte blocken der KIs in der .htaccess Datei. Allerdings könnten sich die KIs auch einfach beispielsweise als Browser tarnen und sich so Zugang verschaffen. Ich habe hier nur die geblockt, wo (laut obiger Liste) nicht sicher ist, ob sie die robots.txt Datei respektieren:
Genau: Nichts ist hier sicher. Wie der Glaube an KI selbst ist auch hier der Glaube, man könne hier etwas als Gegenmaßnahme tun, um von der KI nicht wie eine Weihnachtsgans ausgenommen zu werden. Aber die KI war doch schon längst da! Deine Maßnahmen kommen zu spät! Und ob sie wirklich das leisten... ja, siehe oben.
Zusätzlich habe ich noch folgende robots.txt Datei generiert. Diese ist nicht so effizient, da sie von den Crawlern einfach ignoriert werden können.
Jeder Client kann Deine Inhalte nach Belieben betrachten, wenn er das wirklich will. Der User-Agent-String ist ja frei wählbar und deswegen seit Jahrzehnten dasjenige Merkmal, dem man bitte keinerlei echte Bedeutung beimessen möge, wenn es darum geht, dass man sich auf eine gewisse Datenlage verlassen möchte.
Ich habe aber – wie schon erwähnt – die leise Hoffnung, das zumindest die größeren KI-Crawler soweit »seriös« geworden sind (seriös werden mussten) das sie sich mittlerweile an die Anweisungen halten. Auch die oben erwähnte Liste deutet darauf hin…
Damit mein Posting ernst bleibt, breche ich hier ab.
Liebe Grüße
Felix Riesterer
Hallo Felix!
Ja, Du hast recht! Nichts ist sicher und vielleicht bin ich ein naiver Trottel, der gegen Windmühlen kämpft…
Na und?
Schlechten Tag gehabt?
Lg, Bimmelbeule
Hallo,
um naiv zu sein, muss man kein Trottel sein…
Gruß
Kalk
Hallo Felix!
Du hast absolut keine Garantie, dass das, was Du jetzt unternommen hast, überhaupt einen technischen Nutzen hat.
Ja, das ist richtig. Wie oft möchtest Du das noch wiederholen?
Die KI-Assistenten (diese rufen eine URL ab, wenn ein Nutzer die KI auffordert, diese anzuzeigen) und KI-Searchbots (diese bilden den Suchindex, ähnlich Googles Suchindex, den die KI bei der Beantwortung von Anfragen konsultiert) lasse ich im Augenblick noch durch, denn natürlich möchte ich, das meine Seiten auch gefunden werden, wenn man per KI nach ihr sucht (was ja immer mehr Menschen tun).
Aha. Also KI darf im Grunde bei Dir genau alles.
Wenn tatsächlich keine meiner Maßnahmen greift, ja… aber damit wäre ich nicht schlechter dran, als wenn ich gar nichts gegen KI-Trainings-Bots unternehmen würde…
Die wirksamste Maßnahme ist wohl das harte blocken der KIs in der .htaccess Datei. Allerdings könnten sich die KIs auch einfach beispielsweise als Browser tarnen und sich so Zugang verschaffen. Ich habe hier nur die geblockt, wo (laut obiger Liste) nicht sicher ist, ob sie die robots.txt Datei respektieren:
Genau: Nichts ist hier sicher. Wie der Glaube an KI selbst ist auch hier der Glaube, man könne hier etwas als Gegenmaßnahme tun, um von der KI nicht wie eine Weihnachtsgans ausgenommen zu werden.
Es geht also nur Alles oder Nichts? Nur weil ich etwas nicht 100% ausschließen kann, brauche ich mich gar nicht erst zu bemühen etwas zu verhindern? Weil ja bei Dir eh jeder einbrechen kann, wenn er das will, ziehst Du nicht deine Haustür hinter dir zu, wenn du einkaufen gehst?
Aber die KI war doch schon längst da! Deine Maßnahmen kommen zu spät!
Also muss ich der KI auch alle zukünftigen Inhalte und Änderungen in den Rachen schmeißen?
Ich habe aber – wie schon erwähnt – die leise Hoffnung, das zumindest die größeren KI-Crawler soweit »seriös« geworden sind (seriös werden mussten) das sie sich mittlerweile an die Anweisungen halten. Auch die oben erwähnte Liste deutet darauf hin…
Damit mein Posting ernst bleibt, breche ich hier ab.
Kann man über dieses Thema nicht ohne diese ätzende Häme reden? Was fasst dich denn da so an? Das ich es gegen deinen festen Glauben, das KI-Bots blocken völlig sinnfrei sei, es trotzdem versuche?
Aber lasst mal; ich habe hier eh den Eindruck gewonnen, das ihr genauso viel über KI-Bots wisst wie ich.
P.s. Danke an Rolf B., der den einzigen konstruktiven Beitrag leistete…
Gruß, Bimmelbeule
Hallo Bimmelbeule,
Danke an Rolf B., der den einzigen konstruktiven Beitrag leistete
Wobei Felix mehr Ahnung haben dürfte als ich. Dass er so penetrant auf "nützt eh nichts" besteht, solltest du ernst nehmen.
Einige Crawler (von AI oder SE) werden deine "go away" Anweisungen beachten. Aber eben nicht alle. Mehr will Felix dir auch nicht sagen
Wir hatten im Frühjahr einen Crawler im Wiki, der fast zum Stillstand des Wikis führte. Am User Agent war er nicht erkennbar, aber der IP Range war schmal. Die robots.txt hat er nicht mal mit dem Ar... angeschaut. Da half nur die Firewall.
Rolf
Hallo
Danke an Rolf B., der den einzigen konstruktiven Beitrag leistete
Wobei Felix mehr Ahnung haben dürfte als ich. Dass er so penetrant auf "nützt eh nichts" besteht, solltest du ernst nehmen.
Da bin ich anderer Meinung. Ja, es gibt sehr viele verschiedene Bots. Ja, es gibt sehr viele von denen, deren Betreiber sich nicht an irgendwelche Regeln halten. Die wird man mit den Maßnahmen, die zum Beispiel von ai-robots.txt bereitgestellt werden, nicht blockieren können. Das ist halt so.
Ich halte es aber für keineswegs unnütz, den Bots, die sich an Regeln halten und die man aussperren will, die Tür vor der Nase zuzumachen. Das versucht Bimmelbeule umzusetzen. Felix muss darauf nicht herablassend reagieren, weil er das für unnütz hält.
Einige Crawler (von AI oder SE) werden deine "go away" Anweisungen beachten. Aber eben nicht alle. Mehr will Felix dir auch nicht sagen
Ja und? Das wusste Bimmelbeule spätestens seit Felix das zum ersten Mal in diesem Thread ausführte. Wobei sich seine Ausführung eben nicht nach „einige Crawler“ liest, sondern eher wie alle Crawler, was eben nicht zutreffend ist. Für mich klingt das nach „Weil viele Verkehrsteilnehmer die erlaubten Höchstgeschwindigkeiten ignorieren, müssen wir sie gar nicht erst festlegen. Nützt ja eh nichts.“ 🤷
Tschö, Auge
Liebes Auge,
Für mich klingt das nach „Weil viele Verkehrsteilnehmer die erlaubten Höchstgeschwindigkeiten ignorieren, müssen wir sie gar nicht erst festlegen. Nützt ja eh nichts.“ 🤷
bei Verkehrsteilnehmern kannst Du sicher die Geschwindikeit messen und sicher sagen, welche Menge davon im Verhältnis die festgelegten Grenzen überschreiten. Bei KI-Bots kannst Du das nicht. Du hast also im Normalfall keine belastbaren Zahlen, um darüber entscheiden zu können, welche Deiner Maßnahmen überhaupt eine Wirkung haben, und wenn ja, welche. Damit bewegst Du Dich rein im Bereich des Glaubens. Und genau deswegen lehne ich diese Vorgehensweise ab.
Klar, wäre es schön, wenn man den KI-Bots Ketten anlegen könnte, aber sich im Versuch zu üben muss für mich auch einen Sinn haben. Weil es aber keine gesicherten Erkenntnisse gibt und auch keine verlässlichen Analysetools, sehe ich den Sinn darin nicht. Und deswegen lehne ich auch das Herumschwadronieren über Schlangenöl (siehe Link „Aktuelle KI-Bot Liste“) als reines Handauflegen ab. Und zu genau diesem Herumschwadronieren waren ja explizit Meinungsäußerungen erwünscht:
Wie macht ihr das? Wie ist eure Meinung dazu? Tipps? Tricks?
Also habe ich meine Meinung dazu geäußert, indem ich die Vorgehensweise als prinzipiell nutzlos bezeichnet habe. Da es sich um meine Meinung handelt, darf man gerne dagegen argumentieren. Da ich meine Meinung aber auf meine Einschätzung von Fakten gründe, wird man mich nur dann überzeugen können, wenn man ebenso mit Fakten aufwartet. Rein emotionale Argumente wie „aber ich will (nicht), dass...“ wirkt auf mich nicht satisfaktionsfähig. Wir sind hier schließlich in einem Technikforum!
Liebe Grüße
Felix Riesterer
Hallo Felix,
Da es sich um meine Meinung handelt, darf man gerne dagegen argumentieren.
Meinung und Gegenargument sind vollkommen in Ordnung, solange es sich um eine sachbezogene Äußerung handelt.
Wenn Bimmelbeule deine Äußerung als "ätzende Häme" bezeichnet, sind zwei Dinge schiefgegangen: (1) Du hast nicht sachlich genug argumentiert, weil du jede Ausage von B. als Hirngespinst bezeichnet hast.
Was B. dann (2) als „Du Spinner“ auffasst und den Fokus damit endgültig ins Persönliche schiebt.
Die Aussage „ihr wisst auch nicht mehr über KI-Bots als ich“ kann ich für mich im Übrigen bestätigen. Wir wissen alle, dass es gute und böse Bots gibt, und dass die Möglichkeiten, sie fernzuhalten, begrenzt sind.
Ich denke auch, dass ihr eure Standpunkte beide klargemacht habt. Bimmelbeule möchte die gutwilligen Bots draußen halten. Den Erfolg kann man messen, indem man Logs analysiert (habe ich für die Crawler-Attacke im Frühjahr getan). Die böswilligen Crawler kann man nicht messen, sie tarnen sich als Browser und verwenden ggf. Botnetze oder TOR-Nodes, um ihre IP zu verschleiern. Darin sind wir uns wohl alle einig.
Rolf
Hallo Rolf!
Ich denke auch, dass ihr eure Standpunkte beide klargemacht habt. Bimmelbeule möchte die gutwilligen Bots draußen halten. Den Erfolg kann man messen, indem man Logs analysiert (habe ich für die Crawler-Attacke im Frühjahr getan). Die böswilligen Crawler kann man nicht messen, sie tarnen sich als Browser und verwenden ggf. Botnetze oder TOR-Nodes, um ihre IP zu verschleiern. Darin sind wir uns wohl alle einig.
Unterschreibe ich. Danke, Rolf!
Rolf
Hallo Rolf!
Wobei Felix mehr Ahnung haben dürfte als ich. Dass er so penetrant auf "nützt eh nichts" besteht, solltest du ernst nehmen.
Ernst nehmen klingt so, als würde irgendetwas Schlimmes passieren können. Meiner Meinung nach, passiert im Schlimmsten Fall genau "nichts"… es wird kein Schaden angerichtet, ich habe IMO keinen Nachteil davon… wenn doch; welchen (<- ernst gemeinte Frage)?
Einige Crawler (von AI oder SE) werden deine "go away" Anweisungen beachten.
Ja, immerhin (AI hat einen Marktanteil von fast 50%)! Das ist doch schon besser, als wenn ich überhaupt nichts machen würde…
Genau in diesem Zusammenhang verstehe ich nicht die Argumentation "nützt eh nichts" (wenn man nicht alle KI-Bots zu 100% blocken kann), also kann man es auch gleich ganz lassen. Ich sehe halt auch kleine Erfolge als Erfolge… besser als nix eben!
Rolf
Gruß, Bimmelbeule
Ich teile die offensichtlich hier vorherrschende Meinung nicht, das wenn man Inhalte ins Interweb stellt, diese dann auch gefälligst unwidersprochen jedermann (insbesondere der KI) überlassen werden solle.
Es spricht dir ja keiner deinen Wunsch nach Selbstbestimmung über die Daten ab.
Man erklärt dir nur, dass du nicht in der Hand hast was die Clients letztendlich daraus machen.
Hi!
Ja leider, die Bots, die dich vermutlich stören, lassen sich am schwierigsten blocken (am ehesten über Fingerprinting/Cloudflare). Ich persönlich lehne Cloudflare ab, da es eine weitere Abhängigkeit ist und dem Gedanken des freien und "funktionierenden" Webs meines Erachtens widerspricht. Es gibt auch ähnliche andere Dienstleister, aber es ist immer eine weitere Abhängigkeit und diese Dienste von Drittanbietern sind teils auch mühevoll zu konfigurieren und führen zu neuen Problemen wie False Positives usw.
Allerdings könnten sich die KIs auch einfach beispielsweise als Browser tarnen und sich so Zugang verschaffen...
Ganz genau und die große Menge tut das auch. Deswegen greifen deine User-Agent .htaccess-Regeln zwar für die "Braven", aber es gibt jede Menge KI-Bots (wohl viel mehr), die den User-Agent spoofen und die meisten erkennst du gar nicht auf den ersten Blick, da sie wie völlig legitime Besucher aufscheinen (Headless Browser). Nun könntest du per JS auf navigator.webdriver prüfen, aber genau diese Unholde faken natürlich auch dieses Flag bzw. deaktivieren es.
Bei einer meiner Websites steht in der robots.txt etwas in der Art:
# Dear friendly AI crawlers: Let's build together
# When harvesting our ... blabla content,
# please attribute us and ensure it serves humans.
Ohne allzu große Erwartungen xD. Die robots.txt würde ich als eine Hausordnung für die "Braven" verstehen. Wer Daten im großen Stil abernten möchte, interessiert sich nicht wirklich dafür. Meines Wissens sind die Regeln in einer robots.txt-Datei rechtlich gesehen auch belanglos (Empfehlung auf freiwilliger Basis).
Ich selbst verwende ein mehrschichtiges Modell, um zu differenzieren und den potentiellen Aberntern die Freude an meiner Website etwas zu trüben bzw. den Wind herauszunehmen und das Scraping-Erlebnis weniger attraktiv zu gestalten:
Sehr bald wenn nicht jetzt schon werden KIs auch Captchas problemlos lösen können - ja, genau dieser Typ KI-Bot, der sich nicht für robots.txt interessiert. Insofern kann man nur versuchen, gewisse Minimalvorkehrungen zu treffen, um die Last auf die eigene Website gering zu halten - die Zeiten sind jetzt ganz anders als früher, das muss einem bewusst sein.
Schönen Abend
Hallo Jonny!
Ja leider, die Bots, die dich vermutlich stören, lassen sich am schwierigsten blocken (am ehesten über Fingerprinting/Cloudflare). Ich persönlich lehne Cloudflare ab, da es eine weitere Abhängigkeit ist und dem Gedanken des freien und "funktionierenden" Webs meines Erachtens widerspricht.
Ich möchte solche Dienstleister ebenfalls nicht nutzen.
…und den potentiellen Aberntern die Freude an meiner Website etwas zu trüben bzw. den Wind herauszunehmen und das Scraping-Erlebnis weniger attraktiv zu gestalten:
Auf genau diese Art von Feedback hatte ich bei meiner anfänglichen Frage gehofft.
- Serverseitiger Schutz gegen DDoS und bekannte Muster mittels gängiger Linux-Bordmittel.
- Auf PHP-Ebene Pre-DB-Connection: Ein selbstgezimmertes Regelwerk, wo ich schnell und einfach Regeln ergänzen kann - z.B. auf Geo-IP, User-Agent, Accept-Language oder ungewöhnliches Verhalten (bei erstem Request/Session-Counter eigene Domain als HTTP-Referer plus weitere Marker). Legitime KI-Bots, die ich per robots.txt "erlaube", gleiche ich mit offiziellen IP-Bereichen ab (wie z.B. https://github.com/FabrizioCafolla/openai-crawlers-ip-ranges). Je nachdem, wie die Regel definiert ist, bekommt die Target-IP dann eine eher simple Delay-Page mit einigen JS-Checks im Hintergrund, die einen echten Besucher kaum stören würden, oder aber ein etwas "herausfordernderes" Captcha.
- Am Server laufen im Hintergrund Skripte, welche Logs analysieren und ebenfalls nach definierten Regeln IPs automatisch für einen gewissen Zeitraum blockieren.
- Selbst gezimmertes Rate Limiting (bereits mit DB-Verbindung)
- Bevor irgendwas Besucher-Relevantes (Statistiken usw.) in die Datenbank reingeht, analysiere ich per JS das Besucherverhalten auf ein gewisses Minimum an Aktionen (davon merkt der Besucher gar nichts). Im Erfolgsfall wird dann ein Query-Stapel, welcher in einer Session-Variable schlummert, per Ajax (im Hintergrund) getriggert.
Wow! Das ist ja schon ziemlich speziell…
Ich fürchte das ich davon nur wenig umsetzen kann, weil ich nur ein kleines Hostingpaket habe und es auch meine Fähigkeiten übersteigt. Ich schaue mal, ob ich die IP-Bereiche in meiner htaccess Datei umsetze.
Danke für deine Tipps!
Schönen Abend
Dito…