Suchmaschinen-Management

[Robert B.]

Moin Rolf,

ah, schade. Damit kann man der Datenkrake also keine deklarativen Scheuklappen aufsetzen.

sofern man kein anderes Design seiner Seite verwendet …

Dann müsste man also die Inhalte erstmal weglassen oder vielleicht auch nur base64-codieren. Und dann den Moment finden, in dem man sie safe decodieren kann - irgendwelche Events, die ein User auslöst, aber kein Bot. Ohne dabei die Zugänglichkeit aus dem Auge zu verlieren.

In dem Moment ist die Zugänglichkeit schon nicht mehr gegeben, denn es gibt ausreichend Nutzer, die JavaScript-Ausführung in ihrem Browser zum Teil kontrollieren – es werden ja passende Addons dafür immer mal wieder beworben.

Bots hingegen, die einen Browser (headless) verwenden (z.B. via Selenium WebDriver), kommen trotzdem ziemlich einfach an die Inhalte.

Was auf Dauer natürlich nur zu einer weiteren Runde im Wettrennen gegen zu schlaue Bots führt. Ich nehme an, Events wie scroll, mousemove oder keydown schickt so ein JS-ausführender Bot ohnehin einfach mal so ins System, um sich als Mensch zu tarnen und damit zu verhindern, dass die Seite dem Bot andere Inhalte zeigt als einem Menschen. Details-Elemente wird er ebenfalls erstmal alle aufklappen (was toggle-Events auslöst).

Wie gesagt, unter Verwendung eines Browsers im Bot ist das alles kein großes Problem.

Vermutlich ist ein Link mit rel="nofollow" zu der Seite mit Inhalten, die nicht indexiert werden sollen, die sinnvollste Lösung.

Oder eben die entsprechenden Einträge in der robots.txt oder in einem <meta name="robots" content="…"> …

Wie Du die Bewertungsfunktion vor Bots schützt (POST Requests), hast Du ja schon erfahren. Wenn es Dich stört, viele Miniforms zu haben: das geht auch mit einem einzigen Bewertungsform und vielen Buttons überall auf der Seite, die ein form-Attribut bekommen. Wenn dieses Bewertungsform selbst leer ist und sich nur die Bewertungsbuttons sich per form-Attribut dort einhängen, hast Du auch keinen unnötigen Datentransfer.

✅

Viele Grüße
Robert