Strumenti SEO

Generatore Robots.txt

Crea un file robots.txt perfetto in pochi secondi. Aggiungi multipli user-agent, regole allow/disallow, crawl delay e sitemap - poi copia o scarica istantaneamente.

Template Rapidi

Regole User-Agent

Impostazioni Aggiuntive

URL Sitemap (opzionale)

Configura le tue impostazioni e clicca
Genera robots.txt

Come Distribuirlo

Clicca su Genera, poi su Scarica robots.txt.

Carica nella directory root del tuo sito in modo che sia accessibile all'indirizzo https://iltuodominio.com/robots.txt

Verifica in Google Search Console → Robots.txt Tester.

Cos'è robots.txt?

Un file di testo semplice nella root del tuo dominio che indica ai crawler web quali pagine indicizzare.

Cos'è?

robots.txt è posizionato all'indirizzo https://example.com/robots.txt e utilizza il Robots Exclusion Protocol per dire ai crawler - Google, Bing, Yandex - quali pagine possono o non possono visitare.

Perché è importante per la SEO

Previene lo spreco del crawl budget su pagine di basso valore
Mantiene le aree admin e di staging fuori dall'indice
Indica ai crawler la tua XML sitemap
Separa i contenuti dagli URL duplicati con parametri
Accelera l'indicizzazione delle tue pagine importanti

Sintassi spiegata

User-agent: * - si applica a tutti i crawler

Disallow: /admin/ - blocca questo percorso

Allow: / - consenti esplicitamente l'accesso

Crawl-delay: 10 - pausa di 10 secondi tra le richieste

Sitemap: https://… - link alla tua sitemap

Esempio reale

User-agent: * Disallow: /admin/ Disallow: /?s= Allow: / Sitemap: https://example.com/sitemap.xml

Errori Comuni da Evitare

Questi errori possono silenziosamente far crollare il tuo posizionamento SEO o esporre pagine private ai crawler.

Bloccare CSS e JS - Google renderizza le tue pagine. Bloccare i fogli di stile danneggia i punteggi mobile.

Disallow: / in produzione - blocca accidentalmente l'intero sito dall'essere indicizzato.

Nessun riferimento alla sitemap - la mancanza della direttiva Sitemap: significa che i crawler non la troveranno automaticamente.

Trattarlo come un firewall - robots.txt è un sistema basato sull'onestà. I bot malintenzionati lo ignorano completamente.

Posizione errata del file - il file deve trovarsi nella root: example.com/robots.txt

Regole sovrapposte - Allow/Disallow in conflitto per lo stesso percorso confondono i crawler. Google utilizza la corrispondenza più specifica.

Domande Frequenti

Sì - indirettamente. Un robots.txt ben configurato aiuta Googlebot a concentrare il suo crawl budget sulle tue pagine più preziose, migliorando l'efficienza complessiva del crawling e la velocità di indicizzazione.

Disallow dice ai crawler di non visitare un URL. Un meta tag noindex dice ai crawler di non indicizzare una pagina che possono visitare. Usa noindex per una rimozione garantita dai risultati di ricerca.

Questo preset blocca i noti crawler di addestramento IA - GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai, Claude-Web e Google-Extended - dallo scraping dei tuoi contenuti per l'addestramento di modelli IA, consentendo ai normali motori di ricerca di indicizzare il tuo sito.

Sì. Ogni blocco User-agent: applica regole solo a quel bot. Un bot utilizza il blocco corrispondente più specifico; se non esiste, ricade su *.

Usa Google Search Console → Impostazioni → Report robots.txt. Recupera il tuo file live e ti consente di testare singoli URL su di esso. Puoi anche visitare https://iltuodominio.com/robots.txt direttamente in un browser.