Moin,

sorry das ich erst so spät antworte.

Die Datei gehört zum Robots Exclusion Protocol, d.h. zumindest „gute“ Bots halten sich daran; das hat den Vorteil, dass Du mit denen sogar „zusammenarbeiten kannst“.

Das war mir nicht so ganz Schlüssig und klar, danke für die Erklärung!

Also zumindest der GTPBot von OpenAI hält sich an die robots.txt: Auf meinen Seiten ruft der regelmäßig nur diese Datei auf, sieht, dass er nichts indizieren darf und macht das anscheinend dann auch nicht.

Das müssten dann schon sehr viele Zugriffe sein. Sofern sie nur die robots.txt abrufen und sich an die Regeln dort halten, ist das nur das Ausliefern einer statischen Ressource, das ist nicht teuer.

Das können „menschliche“ Nutzer doch auch.

Datenschutzkonform?

Gut ich werde, dann mal wie du geschrieben hast mal die robot.txt aktualisieren. Claudebot, ChatGPT sollten sich ja daran hoffentlich halten.

Plaudere zu viel. Laut Trackboxx Anbieter selber und unserer doch fragwürdigen momentan aktualisierten Datenschutzerklärung durch meinerseits aus. Ja schon 50%, zum anderen Nutze ich die gratis Variante von Hotjar um Nutzer Ihr Verhalten auf der Webseite auszuwerten. Welche leider naja... eher nicht der Fall ist.

Eventuell die UX zu verbessern. Zu sehen, wo es momentan „Produktiv” zu Fehlern, Abbrüchen kommt. Wobei hier wenig bis nix passiert. Da ich bis Dato vorher, fast komplett blind unterwegs war. Hier im Shop weder UTM - Links noch bisher kaum Ref Links eingebaut sind noch sonst was in die Richtung, da mir dafür bis vor zuletzt Marketing Sachverständnis fehlte.

Ich einfach mit GA nicht um Umfang zurecht kam und es mir Sketchy vorkam. Bei GA4 habe ich, dann die Reißleine gezogen. Das ganze nicht wirklich Zielführend für mich und das Unternehmen denke ich war. Nur für etwas besser, diese ganze Daten-/Rechtsschutzbedenken da ist Google wirklich ein Graus mittlerweile. Don't be evil. Ja klar.. gibt einen Grund warum sie nicht mehr diese Richtlinie für sich benutzen. Wenn ich kann will ich zukünftig hier weniger von Google verwenden und mehr Codebasis von anderen.

Früher mal waren wir Mitglied im Händlerbund müssen dringend mal einen RA für IT-Recht mal kontaktieren um etwaige nicht abgedeckte Tools vielleicht noch mit aufzunehmen. Falls dir was auffallen sollte gerne uns kontaktieren. Ich selber versuche nach bestem Wissen, Gewissen die Datenschutzerklärung aufrecht zu erhalten und zu aktualisieren in Verbindung mit dem Consent-Manager. Das Plugin von DZM lädt er mittlerweile auch so wie man das kennen sollte nach DSGVO nur das was auch notwendig ist nach Zustimmung. Fast nur 8 Jahre später.

Doch die Anzahl an echten Anfragen, würde mich schon interessieren.

Dafür müsstest Du erst einmal definieren, was „echte Anfragen“ sind.

Für mein Verständnis wären Nutzer, von einem User Agent wie Chrome der eine Tatsächliche Seite versucht aufzurufen ein echter Zugriff eines Nutzers. Nicht nur auf eine Mediendatei, versucht irgendwie Daten zu Scrappen, Directory hopping probiert. Um auf versteckte Verzeichnisse zugreifen zu wollen.

• • • [03/Jun/2025:11:19:24 +0200] "GET / HTTP/2.0" 200 63237 "https://www.iw-nord.de/unternehmen/ansprechpartner" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36" "Traffic IN:633 OUT:63624" "ReqTime:0 sec"

SetEnvInf setzt lediglich eine Umgebungsvariable. Wofür soll das die Lösung sein?

Mir war nur in Gedanken geschnellt, dass eventuell die eine Abfrage Methode vielleicht nicht ganz greift.

Ihr habt für euren Shop also einen Dienstleister dazwischen, der seinerseits für euch das Hosting über All-Inkl anbietet.

Korrekt

Bing ist doch die Suchmaschine von Microsoft. Im Zweifelsfall „findet“ die neue Kunden für Dich.

Bin ich bei dir, möchte auch Bing an sich nicht rausfiltern. Der Zugriff stand nur mit im Access Log. War nicht wirklich einer den ich blockieren wollen würde.

Mit freundlichen Grüßen

Failx