SYSADMIN JOURNAL / Linux · Networking · Security · HostingProcedure, appunti e soluzioni tecniche
Apache

Verificare Googlebot e Bingbot con DNS reverse e forward

Pubblicato il 18/11/2026

Il problema

Qualunque scraper può usare lo User-Agent Googlebot. Per costruire una whitelist attendibile è necessario verificare anche l'indirizzo IP di provenienza.

Procedura tecnica

Partiamo da una configurazione minima e riproducibile, da adattare al proprio virtual host. I valori e i nomi esemplificativi non vanno copiati senza controllo.

dig +short -x 66.249.66.1
# Dopo aver controllato il dominio del PTR:
dig +short A hostname.example
dig +short AAAA hostname.example

Interpretare il risultato e prevenire errori

La procedura richiede un PTR appartenente ai domini ufficiali del crawler e una risoluzione forward che riconduca all'IP di origine. In alternativa usa gli intervalli pubblicati ufficialmente dai motori. Non fare una chiamata DNS sincrona per ogni richiesta Apache: usa cache, timeout e controlli periodici, inclusi gli indirizzi IPv6.

Controlli finali

Conserva il backup, esegui apache2ctl configtest, verifica le risposte prima e dopo un reload e controlla i log di Apache. I test devono includere gli accessi da dispositivi mobili, il dominio con e senza www e gli eventuali reverse proxy.

Approfondimenti: GeoIP su Apache e challenge mod_lua.