Crawler, Bots?

Hallo @pameo

ein klares “Jein”. ??

Wir lesen den User Agent aus und versuchen daran den Crawler/Bot zu erkennen:
https://github.com/pluginkollektiv/statify/blob/667518428b30b0522367fb2c955d1913e1ef672f/inc/class-statify-frontend.php#L213-L245

Aktuell sind das diese Textteile:
'bot', 'slurp', 'crawler', 'spider', 'curl', 'facebook', 'fetch', 'python', 'wget', 'monitor'

Mit JS oder Nicht-JS hat das gar nichts zu tun. Die interne Verarbeitung ist dieselbe.

Damit erwischen wir (hoffentlich) den Gro?teil.

Es gibt aber auch schon überlegungen wie das noch optimiert werden kann:
https://github.com/pluginkollektiv/statify/issues/217

Vielleicht macht es auch Sinn hier einen Filter anzubieten, damit erfahrene Nutzer, Bots/Crawler selbst erg?nzen k?nnen. Je nachdem welche Tools vielleicht auch selbst im Einsatz sind (Linkchecker mit eigenem User Agent z.B.).

Hast du einen konkreten Bot/Crawler im Auge oder war das eine generelle Frage?

Beste Grü?e
Torsten

Hallo Torsten,
trotz “Jein” eine super klare Antwort – danke dafür!
War eine generelle Frage.
viele Grü?e Gerhard

Mit JS oder Nicht-JS hat das gar nichts zu tun. Die interne Verarbeitung ist dieselbe.

Im Prinzip ja, allerdings schlie?t JS basiertes Tracking tats?chlich eine Reihe automatisierter Anfragen aus. Es gab Zeiten, da hat JS 90% und mehr aussortiert.

Suchmaschinen und Crawler führen es aber inzwischen zunehmend aus, um dynamische Inhalte so, wie sie der Nutzer sieht, korrekt zu erfassen. Die weisen sich aber überwiegend erkennbar als “bot“ oder “crawler“ aus. Gleiches gilt für Tools zur Accessibility Analyse, o.?.

Monitoring-Systeme, Link-Crawler, Webanalyzer, etc. sind etwas vielf?ltiger was die UserAgent Kenner angeht, falls sie nicht sogar einen echten Browser vorgaukeln. Die allermeisten führen aber weiterhin kein JS aus, da für die Anwendung nicht n?tig.

Aber das “Jein“ bleibt. Eine absolute Trefferquote gibt es mit keiner der beiden Methoden, aber man versucht es.