Il robots.txt – un file di testo nella root del sito – dice ai crawler cosa non visitare: direttive User-agent + Disallow/Allow, più la riga Sitemap: che indica dove sta la mappa del sito.
I tre equivoci da smontare:
- è una convenzione, non una barriera: i bot malevoli lo ignorano allegramente – per bloccarli davvero serve il WAF
- Disallow non deindicizza: una pagina bloccata può comparire comunque su Google (senza descrizione); per non farla indicizzare serve
noindex, che però il crawler deve poter leggere - non è un posto per segreti: è pubblico per definizione, e i path "nascosti" elencati lì sono i primi che un curioso visita
Capitolo moderno: i crawler AI (GPTBot, ClaudeBot…) si gestiscono da qui – decisione strategica, non tecnica.