Il problema
Qualunque scraper può usare lo User-Agent Googlebot. Per costruire una whitelist attendibile è necessario verificare anche l'indirizzo IP di provenienza.
Procedura tecnica
Partiamo da una configurazione minima e riproducibile, da adattare al proprio virtual host. I valori e i nomi esemplificativi non vanno copiati senza controllo.
dig +short -x 66.249.66.1
# Dopo aver controllato il dominio del PTR:
dig +short A hostname.example
dig +short AAAA hostname.example
Interpretare il risultato e prevenire errori
La procedura richiede un PTR appartenente ai domini ufficiali del crawler e una risoluzione forward che riconduca all'IP di origine. In alternativa usa gli intervalli pubblicati ufficialmente dai motori. Non fare una chiamata DNS sincrona per ogni richiesta Apache: usa cache, timeout e controlli periodici, inclusi gli indirizzi IPv6.
Controlli finali
Conserva il backup, esegui apache2ctl configtest, verifica le risposte prima e dopo un reload e controlla i log di Apache. I test devono includere gli accessi da dispositivi mobili, il dominio con e senza www e gli eventuali reverse proxy.
Approfondimenti: GeoIP su Apache e challenge mod_lua.