Premessa onesta: contro uno scraper determinato non esiste il muro perfetto – ciò che un browser può leggere, un bot può leggerlo. L'obiettivo realistico è alzare il costo finché non vale più la pena:
- rate limiting per IP e per percorso: gli scraper hanno fretta, i lettori no
- liste di bad bot aggiornate (patterns le rigenera ogni giorno per Nginx, Apache, Traefik e HAProxy)
- ban comportamentali: chi genera 404 a raffica o naviga a velocità disumana (caddy-mib)
- challenge sui percorsi sensibili (Turnstile) e trappole: link invisibili agli umani che marchiano i bot
Capitolo a parte: i crawler AI, dove il blocco è una scelta strategica, non solo tecnica. E ricorda che scraper legittimi (Google) e molesti si separano per comportamento, non per dichiarazione.