Generatore robots.txt
Crea file robots.txt per il tuo sito web.
Generatore di robots.txt per SEO e controllo del crawling web
Il file robots.txt e uno standard del protocollo di esclusione dei robot che indica ai crawler web (bot di ricerca come Googlebot, Bingbot, ecc.) quali parti del tuo sito web possono o non possono essere scansionate e indicizzate. Si trova nella root del dominio (example.com/robots.txt) ed e la prima cosa che i bot consultano prima di scansionare il tuo sito.
Le direttive principali sono User-agent (specifica a quale bot si applica la regola), Disallow (blocca l'accesso a un percorso), Allow (permette l'accesso all'interno di un percorso bloccato) e Sitemap (indica la posizione della mappa del sito XML).
Il nostro generatore ti permette di creare il file in modo visuale senza dover memorizzare la sintassi. Include preset per i bot piu comuni, percorsi frequenti da bloccare e l'opzione di includere l'URL del tuo sitemap.
Domande frequenti
Dove devo posizionare il file robots.txt?
Il file robots.txt deve trovarsi nella root del tuo dominio, accessibile all'URL example.com/robots.txt. I bot cercano il file esattamente in questa posizione.
Robots.txt impedisce che le mie pagine appaiano su Google?
Non completamente. Robots.txt blocca il crawling, ma Google puo indicizzare un URL se lo trova in link di altri siti. Per evitare l'indicizzazione, usa il meta tag noindex.
Posso bloccare i bot di IA come ChatGPT?
Si. Puoi aggiungere regole specifiche per User-agent: GPTBot con Disallow: / per bloccare i crawler di OpenAI. Tuttavia, non tutti i bot di IA rispettano robots.txt.