Generatore Robots.txt Gratuito

Crea il file robots.txt perfetto per il tuo sito web. Controlla quali bot dei motori di ricerca possono scansionare le tue pagine e proteggi le aree private.

Preset Rapidi

Crawler dei Motori di Ricerca

Crawler AI

2026

Controlla quali bot AI possono eseguire la scansione del tuo sito per dati di addestramento. Bloccarli NON influisce sui tuoi posizionamenti nei motori di ricerca.

Directory Bloccate

Percorsi Personalizzati

Avanzato Settings

Secondi tra una richiesta e l'altra. Solo Bing e Yandex rispettano questo parametro. Google lo ignora — usa invece la Search Console.

Il tuo robots.txt

29 regole attive

# robots.txt generated by Kleap - 2026-05-31
# https://kleap.co/tools/robots-txt-generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/

# AI Crawlers
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

Come use this file

Upload this file to the root of your sito web so it is accessible at yoursite.com/robots.txt. Most hosting platforms (Vercel, Netlify, WordPress) have a public/ or root directory where you drop it. Changes take effect immediately — no restart required.

Cos'è un file robots.txt?

Un file robots.txt è un file di testo posizionato nella directory principale del tuo sito web che dice ai web crawler (robot) quali pagine o file possono o non possono scansionare. Fa parte del Protocollo di Esclusione dei Robot, uno standard web volontario. Quando Googlebot o qualsiasi altro crawler visita il tuo sito, controlla prima robots.txt per le istruzioni di scansione.

Un file robots.txt correttamente configurato aiuta a ottimizzare il budget di scansione (il numero di pagine che Google scansiona in un dato periodo), impedisce la scansione di aree private o duplicate e blocca i bot AI indesiderati che addestrano modelli sulle tue creatività.

Cosa puoi fare con il tuo file robots.txt

One-Clicca Presets

Scegli from 6 presets: Allow All, Block All, Standard, E-commerce, WordPress, and Block AI Bots. Start with a template and customize from there.

Controlli per Bot AI

Blocca o consenti 11 crawler AI tra cui GPTBot, Claude-Web, PerplexityBot, CCBot e Bytespider. La maggior parte dei generatori nel 2026 non copre ancora questi bot.

Validazione in Tempo Reale

Visualizza avvisi in tempo reale quando fai scelte rischiose, come bloccare Googlebot o non consentire l'intero sito. Previeni costosi errori SEO prima che si verifichino.

Controlli per Motori di Ricerca

Controllo granulare su Googlebot, Bingbot, Slurp (Yahoo), DuckDuckBot, Baiduspider e YandexBot. Consenti o blocca ogni crawler individualmente.

Dichiarare la sitemap

Indica ai motori di ricerca dove trovare la tua sitemap XML per una scansione più efficiente.

Copy & Scarica

Copy to clipboard or scarica as a .txt file. Upload to your site root and you are done. No signup, no account, no limitations.

Perché Devi Controllare i Bot AI nel 2026

Since 2024, AI companies have deployed web crawlers that scrape sito webs to train large language models. GPTBot (OpenAI), Claude-Web (Anthropic), PerplexityBot, CCBot (Common Crawl), Bytespider (ByteDance/TikTok), and others now crawl billions of pages. Unlike motore di ricerca crawlers that drive traffic to your site, AI crawlers take your content to train models — without sending visitors back.

Bloccare i bot AI nel tuo robots.txt è il modo più efficace per impedire che i tuoi contenuti vengano usati per l'addestramento dell'IA. Grandi editori come The New York Times, CNN e Reuters hanno già aggiunto questi blocchi. La distinzione importante: bloccare i bot AI NON influisce sui tuoi posizionamenti su Google o Bing. I crawler dei motori di ricerca e i crawler AI sono user agent separati.

Our generator includes 11 known AI crawler user agents, updated for 2026. As new AI crawlers emerge, we add them. This is one of the few robots.txt generators that covers AI bots comprehensively — most competitors still only handle traditional motore di ricerca crawlers.

Come Set Up Your Robots.txt

Configurare robots.txt è semplice. Ecco una guida passo dopo passo per farlo correttamente.

1. Genera Your File

Use the generator above to configure your rules. Start with a preset (Standard è consigliato for most sites) and adjust the AI bot settings based on your preference. Add your sitemap URL if you have one.

2. Carica nella Root del Tuo Sito

The file must be at yoursite.com/robots.txt — not in a subdirectory. On most platforms: Vercel and Next.js use the public/ folder, WordPress uses the root directory or a plugin, Shopify auto-generas it (puoi customize via the theme editor). For static sites, just drop the file alongside your index.html.

3. Testa il Tuo Robots.txt

Dopo aver caricato il file, visita tuosito.com/robots.txt nel browser per confermare che sia accessibile. Poi usa il Tester robots.txt di Google Search Console (in Scansione > Tester robots.txt) per verificare che Google riesca ad analizzarlo correttamente. Correggi eventuali errori prima che influiscano sull'indicizzazione.

4. Monitora e Aggiorna

Rivedi il tuo robots.txt ogni trimestre. Nuovi bot AI emergono regolarmente — aggiungi i loro user agent man mano che appaiono. Se aggiungi nuove sezioni al tuo sito (come /api/ o /admin/), assicurati che siano bloccate. Controlla la Search Console per errori di scansione che potrebbero indicare una configurazione errata di robots.txt.

Kleap vs Altri Generatori di Robots.txt

FunzionalitàKleapSEOptimerSmallSEOTools
PrezzoGratuito, senza limitiGratuito (base)Gratuito con pubblicità
Controlli per Bot AI11 crawler AI (GPTBot, Claude, ecc.)NessunoNessuno
Preset Modelli6 preset (Standard, E-commerce, WordPress...)Solo baseNessuno
Avvisi in Tempo RealeAvvisi di validazione in tempo realeControllo sintassi baseNessuna validazione
Scarica .txtCopy + ScaricaSolo copiaSolo copia
Nessuna Registrazione RichiestaSìSìSì

Domande Correlate

Cosa succede se non ho un file robots.txt?+
Without a robots.txt file, all crawlers (motore di ricercas and AI bots) assume they can access every page on your site. This means AI companies can freely scrape your content for training data. While motore di ricercas will still index your site normally, you lose control over which bots can access your content.
Il robots.txt influisce sui miei posizionamenti SEO?+
Robots.txt itself does not directly affect rankings. However, blocking Googlebot will remove your pages from risultati di ricerca entirely. Used correctly, robots.txt improves SEO by preventing crawl budget waste on low-value pages (admin panels, duplicate content, staging pages) while ensuring important pages are crawled efficiently.
Posso bloccare i bot AI senza influenzare Google?+
Sì. I crawler AI (GPTBot, Claude-Web, PerplexityBot, CCBot, ecc.) usano user agent diversi da Googlebot. Bloccarli non ha alcun impatto sui tuoi posizionamenti su Google. I motori di ricerca e i crawler AI sono completamente indipendenti.
Il robots.txt è legalmente applicabile?+
Il robots.txt è uno standard volontario — non esiste un meccanismo di enforcement tecnico. Tuttavia, le principali aziende AI (OpenAI, Anthropic, Google) si sono pubblicamente impegnate a rispettarlo. Nell'UE e in alcuni stati USA, ignorare il robots.txt potrebbe avere implicazioni legali in materia di diritto d'autore e protezione dei dati.
Con quale frequenza dovrei aggiornare il mio robots.txt?+
Revisionalo ogni trimestre. Nuovi crawler AI emergono regolarmente e la struttura del tuo sito potrebbe cambiare. Dopo importanti riprogettazioni del sito, lanci di nuove sezioni o quando vengono annunciati nuovi bot AI, aggiorna il tuo robots.txt per riflettere i cambiamenti.

Domande frequenti

Il file robots.txt influenza il SEO?+
Sì, può influenzarlo positivamente o negativamente. Un robots.txt corretto ottimizza il budget di scansione e impedisce ai motori di ricerca di sprecare risorse su pagine irrilevanti. Un robots.txt errato può bloccare accidentalmente pagine importanti dall'indicizzazione.
Devo avere un file robots.txt?+
Non è obbligatorio, ma è consigliato. Senza un robots.txt, i motori di ricerca scansionano tutto il tuo sito. Un robots.txt ti dà controllo su cosa viene scansionato e indicizzato.
Dove metto il file robots.txt?+
Il file robots.txt deve essere nella directory principale del tuo sito web — accessibile a https://tuosito.com/robots.txt. Caricalo sul tuo server web o CMS.
Come blocco i bot AI con robots.txt?+
Aggiungi regole Disallow specifiche per i user agent AI: GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai (Anthropic) e altri. Il nostro preset 'Blocca tutti i bot AI' gestisce automaticamente questo.
Robots.txt blocca davvero i bot AI?+
I principali provider AI (OpenAI, Anthropic, Google) rispettano le istruzioni di robots.txt. Tuttavia, i bot meno affidabili potrebbero ignorarlo. Per una protezione completa dei contenuti, considera anche le misure a livello di server.
Dovrei aggiungere una sitemap al robots.txt?+
Yes, it is a best practice. Adding a Sitemap: directive helps crawlers discover all your pages, especially new ones. Google and Bing both recommend including your sitemap URL in robots.txt. Dovresti also submit it in Google Search Console.
Cos'è crawl delay?+
Il crawl-delay indica ai crawler di attendere un determinato numero di secondi tra una richiesta e l'altra. Questo evita il sovraccarico del server da parte di scansioni aggressive. Nota: Google ignora il crawl-delay — usa Google Search Console per gestire la frequenza di scansione di Google. Bing e Yandex lo rispettano.
Posso usare i caratteri jolly nel robots.txt?+
Yes. Googlebot and Bingbot supporto * (match any sequence) and $ (end of URL). For example, Disallow: /*.pdf$ blocks all PDF files. However, not all crawlers supporto wildcards, so use them carefully and test with Google's robots.txt Tester.
Questo generatore di robots.txt è gratuito?+
Completely free, with no account required and no usage limits. Genera as many robots.txt files as hai bisogno. We do not store your data or require any personal information.
Come I test if my robots.txt is working?+
After uploading, visit yoursite.com/robots.txt in your browser to confirm it is live. Then use Google Search Console's robots.txt Tester to verify Google can parse it correctly. Puoi also use the Bing Webmaster Tools robots.txt analyzer for Bing-specific validation.

Costruisci un sito web ottimizzato per SEO con l'AI

Kleap genera automaticamente robots.txt, sitemap e meta tag per ogni sito web che crea.

Inizia a costruire gratis

Related Free Tools

Schema Generator

Generate JSON-LD structured data for Google rich results

Meta Tags Generator

Generate SEO meta tags, Open Graph and Twitter cards

Privacy Policy Generator

Create a GDPR-compliant privacy policy for your site

Website Copy Generator

Write compelling website copy with AI assistance

Generatore Robots.txt Gratuito | Crea il File Robots.txt del Tuo Sito