Strategie, um angeklickte tote Links auf nicht mehr existierende Unterseiten meiner Domain aufzuspüren

[oxo888oxo]

Hallo

Ich betreibe einen Online-Shop. Nun gib es im Internet diverse Links zu Produktseiten, die nicht mehr existieren (von mir gelöscht, weil es die Produkte nicht mehr gibt). Ich möchte gerne in Erfahrung bringen, welche von meinen nicht mehr existierenden Produktseiten noch ab und zu aufgerufen werden.

Dabei ist es mir wichtig zu unterscheiden, ob diese toten URLs von Suchmaschinen-Bots oder echten Menschen/Usern aufgerufen werden.

Ich habe bei meinem Hosting Provider (1&1 Ionos) Zugriff auf meine Server Log Dateien. Diese öffne ich mit Excel, so dass ich alles schön in Spalten habe. Dann sortiere ich erstmal alle aus, die keinen 404 Status-Code liefern.

Nun möchte ich gerne alle Server-Log-Einträge löschen, die von Suchmaschinen-Bots stammen, weil ich davon ausgehe, dass die restlichen dann eher von echten Menschen/Usern stammen.

Meine Frage an Euch ist nun, ob diese Strategie gescheit ist oder ob ich da dummes Zeug mache und evtl. was nicht richtig beachte.

Gruß aus Münster Ingo