SYSADMIN JOURNAL / Linux · Networking · Security · HostingProcedure, appunti e soluzioni tecniche
Apache

Whitelist crawler e falsi positivi: proteggere Apache senza penalizzare la SEO

Pubblicato il 18/11/2026

Non tutti i crawler devono essere fermati. Googlebot e Bingbot servono all’indicizzazione; Applebot e DuckDuckBot ad altri motori; AhrefsBot alimenta l’analisi dei backlink e AhrefsSiteAudit può essere usato dal cliente per verifiche SEO.

Non basta lo User-Agent

Uno script può dichiararsi Googlebot o AhrefsBot. Le eccezioni solide verificano gli IP con reverse DNS e forward DNS coerenti, oppure con gli intervalli ufficiali dei fornitori, aggiornati periodicamente.

# Verifica diagnostica, non completa
dig +short -x 66.249.66.1
host 66.249.66.1

Indicatori di traffico automatizzato

User-Agent python-requests, curl o molto vecchi, richieste ravvicinate e navigazioni seriali su centinaia di annunci sono indizi. La mancanza di Accept-Language o degli header Sec-Fetch, da sola, non dimostra nulla: app mobili e browser legittimi possono non inviarli.

Usa un punteggio, comincia con registrazioni senza blocchi e verifica i falsi positivi. Se introduci un challenge, applicalo alle navigazioni HTML e non alle API JSON o AJAX.

301 e 302 non sempre significano bot

Un HTTP 302 può essere emesso da HAProxy, Apache, IIS o dall’applicazione. Nei log registra Location e, se possibile, il nome della regola che ha risposto. Prova la catena con www e senza www, da desktop e da cellulare.

La priorità è mantenere il sito utilizzabile: se un filtro provoca errori agli utenti reali, disabilitalo e torna alla sola osservazione.