kryptische Referer in Logfiles = Spambots?

[frankx]

Hellihello,

eine Kollegin mailte mir grade folgende Einträge, die sie in den Logfiles als Referer fand:

jtyxceu.greatnow.com/pechanga-resort-casino-temecula.html
lgqogvv.00freehost.com/car-lease-contract.html
lkmrdtwl.sporshok.org/xingtone-ringtone-maker-4205.html
qymvwbag.741.com/latino-women-hardcore.html

Hinterlassen Spambots sowas? Der Referer ist doch beliebig manipulierbar und wird vom Client beim Request angegeben, oder?

Dank und Gruß,

frankx

[Vinzenz Mai]

Hallo Robert,

eine Kollegin mailte mir grade folgende Einträge, die sie in den Logfiles als Referer fand:

Hinterlassen Spambots sowas? Der Referer ist doch beliebig manipulierbar und wird vom Client beim Request angegeben, oder?

Wikipedia, Referrer-Spam.

Freundliche Grüße

Vinzenz

[Beat]

Hinterlassen Spambots sowas? Der Referer ist doch beliebig manipulierbar und wird vom Client beim Request angegeben, oder?

Refererspam ist darauf angelegt, dass
a) neugierige Admins den Links folgen
b) irgendwelche Statistiken offen im Netz sind und von Google indexiert werden.

Refererspam lässt sich praktisch nicht reduzieren, da ein Eintrag in den Logfiles ja das Ziel ist, unabhängig davon, welchen Statuscode man sendet.
Insofern ist der WIKIpedie Hinweis nur dann Sinnvoll, wenn man einen bestimmten Statuscode auch nicht logged.

mfg Beat

[Vinzenz Mai]

Hallo Beat,

Insofern ist der WIKIpedie Hinweis nur dann Sinnvoll, wenn man einen bestimmten Statuscode auch nicht logged.

er ist vor allem auch dann sinnvoll, wenn der Fragesteller vermutlich noch nie etwas von Referrer-Spam gehört hat.

Freundliche Grüße

Vinzenz

[Sarah]

Hallo Vinzenz,
warum hier der Verweis auf Wikipedia?
Also ich hätte mich zunächst an ein Spezialisten-Forum wie Selfhtml gewandt. Auf Wikipedia wäre ich nicht gekommen!
Gruß
Sarah

[Sven Rautenberg]

Moin!

warum hier der Verweis auf Wikipedia?
Also ich hätte mich zunächst an ein Spezialisten-Forum wie Selfhtml gewandt. Auf Wikipedia wäre ich nicht gekommen!

In der Wikipedia steht sehr viel Wissen zu allen möglichen Themen. Mittlerweile dürfte es vermutlich kein Stichwort geben, zu dem ein Wikipedia-Artikel nicht mindestens die grundsätzlichen Infos aufführt, oft verbunden mit weiterführenden internen und externen Links.

Für die grundsätzliche Klärung der Frafe "Was ist Referrerspam" ist die Wikipedia daher deutlich besser geeignet, als ein Forum. In Wikipedia steht die über einen längeren Zeitraum von Fachwissenden überarbeitete ausführliche Antwort (die deutsche Wikipedia hat seit kurzem sogar die nächste Qualitätsstufe: "gesichtete Version", da hat unabhängig vom letzten Bearbeiter also noch jemand zweites draufgeguckt und geprüft, ob da kein subtiler Unsinn eingetragen wurde) - im Forum hängt die erhaltene Antwort von der Tagesform der antwortenden Personen ab, mitunter kriegt man nur Antworten von Halbwissenden.

- Sven Rautenberg

[Beat]

Hallo Beat,

Insofern ist der WIKIpedie Hinweis nur dann Sinnvoll, wenn man einen bestimmten Statuscode auch nicht logged.

er ist vor allem auch dann sinnvoll, wenn der Fragesteller vermutlich noch nie etwas von Referrer-Spam gehört hat.

Ich bezog mich auf den Inhalt der Wiki-Seite, nicht auf deine Verlinkung.

Ich mag mich erinnern (oder irren), dass der Wiki Beitrag vor ein paar Jahren bedeutend länger war.
Ein offenes Portal ist wohl ein schlechter Ort, um aufklärerische Absichten zu dokumentieren, wenn die Kirche (die Spammer) zutritt hat.

In der Türkischen Version sieht man mindestens noch eine Andeutung über das LOG Verhalten.
Die englische Version ist die am radikalsten 'defacete' Version.

Englischer WIKI Beitrag
"Technical solutions
As with e-mail spam, web site operators who receive unwanted referer spam may respond using filtering and blocking.
A simple solution to render this form of spamming ineffective is to prevent the search engine spiders from crawling the site logs by moving them to a non-public area such as a password-protected area, or configure the web statistics generator to use the rel=nofollow attribute on the referer links."

Die technische Lösung ist:
a) keine Statistiken öffentlich erreichbar im Netz zu lassen. oder
b) solche Statistiken aller Domain (und IP) Angaben zu bereinigen

Die Idee mit link rel=nofollow bewirkt ja nur, dass Bots über den Inhalt der Zielseite im ungewissen bleiben.

Filtering und Blocking kann etwas aufwändig werden. ist aber wie gesagt nur die halbe Lösung, wenn Statistiken immer noch im Netz bleiben und die betreffenden Status Codes vom Server gelogged werden.

mfg Beat

[bleicher]

Grüße,

exestiert im net vllt eine bessere/schlechtere liste mit solchen spamreferrern und spambots?

MFG
bleicher

[Beat]

exestiert im net vllt eine bessere/schlechtere liste mit solchen spamreferrern und spambots?

Ich hatte extrem viele Refererspam Requests, zum teil auf umfangreiche Seiten.
Die betroffenen Seiten umzubennen hat geholfen. Aber die Quellen im einzelnen ausfindig zum machen, ist eine Sysiphus arbeit.

In meinem Fall weiss ich, dass bei mir drei Seiten auf zwei Listen waren, die abgearbeitet wurden. Die lange Liste rief immer alle drei Seiten auf, die kurze Liste nur zwei.
IPs wechselten sehr häufig.
Mittlerweile scheint nur noch die kurze Liste betrieben zu werden.
Die Listen sid nichts anderes als Lange listen von urls, die bespammt werden sollen. Sie werden zuweilen auf mehreren (verschieden schnellen) Servern betrieben, wie sich anhand von Verzögerungszeiten zwischen den einzelnen urls erahnen liess.
Da es einem Referrer Spammer nicht auf den Server-Response ankommt, hat er alle Mittel des IP Spoofings zur Verfügung.

mfg Beat

[Sven Rautenberg]

Moin!

Da es einem Referrer Spammer nicht auf den Server-Response ankommt, hat er alle Mittel des IP Spoofings zur Verfügung.

Das stimmt nicht. Man kann TCP-Verbindungen nur ganz schwer spoofen, da die Verbindung ja erst dann für HTTP nutzbar aufgebaut ist, wenn der Server schon einmal ein ACK an den Client zurückgeschickt hat, also dessen IP kennt.

Ein Spoofing würde nur klappen, wenn der Spoofer a) sicherstellen kann, dass kein wahrer Inhaber der IP antwortet, und b) er die TCP-Sequenznummer des Servers erraten kann, um mit der korrekten Nummer nach der Verbindungsaufnahme auch noch den HTTP-Request nachsenden zu können.

Das Raten der TCP-Sequenznummer ist aber ziemlich schwierig.

- Sven Rautenberg