Due livelli, con efficacia molto diversa:
- robots.txt – la richiesta gentile:
User-agent: GPTBot / Disallow: /(e lo stesso per ClaudeBot, CCBot, Google-Extended, Bytespider…). I crawler delle aziende serie lo rispettano; gli altri no. - il blocco vero – a livello di WAF/server: si filtrano gli User-Agent noti e, per chi mente sull'identità, si ragiona per IP range e comportamento. Le liste di bad bot di patterns (Nginx, Apache, Traefik, HAProxy) e i filtri di caddy-waf fanno esattamente questo, aggiornati ogni giorno.
Paradosso da conoscere prima di bloccare tutto: sparire dai crawler AI significa anche sparire dalle risposte delle AI – che per un sito di contenuti può essere il canale di scoperta principale. Scelta legittima in entrambe le direzioni, ma va fatta consapevolmente.