Non tutti i crawler devono essere fermati. Googlebot e Bingbot servono all’indicizzazione; Applebot e DuckDuckBot ad altri motori; AhrefsBot alimenta l’analisi dei backlink e AhrefsSiteAudit può essere usato dal cliente per verifiche SEO.
Non basta lo User-Agent
Uno script può dichiararsi Googlebot o AhrefsBot. Le eccezioni solide verificano gli IP con reverse DNS e forward DNS coerenti, oppure con gli intervalli ufficiali dei fornitori, aggiornati periodicamente.
# Verifica diagnostica, non completa
dig +short -x 66.249.66.1
host 66.249.66.1Indicatori di traffico automatizzato
User-Agent python-requests, curl o molto vecchi, richieste ravvicinate e navigazioni seriali su centinaia di annunci sono indizi. La mancanza di Accept-Language o degli header Sec-Fetch, da sola, non dimostra nulla: app mobili e browser legittimi possono non inviarli.
Usa un punteggio, comincia con registrazioni senza blocchi e verifica i falsi positivi. Se introduci un challenge, applicalo alle navigazioni HTML e non alle API JSON o AJAX.
301 e 302 non sempre significano bot
Un HTTP 302 può essere emesso da HAProxy, Apache, IIS o dall’applicazione. Nei log registra Location e, se possibile, il nome della regola che ha risposto. Prova la catena con www e senza www, da desktop e da cellulare.
La priorità è mantenere il sito utilizzabile: se un filtro provoca errori agli utenti reali, disabilitalo e torna alla sola osservazione.