Gerador de Robots.txt Grátis

Criar a valid robots.txt file em segundos. Control mecanismo de busca crawlers, block AI bots, set crawl rules, and baixar your file ready to upload.

Presets Rápidos

Crawlers de Mecanismos de Busca

Crawlers de IA

2026

Controle quais bots de IA podem rastrear seu site para dados de treinamento. Bloquear esses bots NÃO afeta seu SEO no Google.

Diretórios Bloqueados

Caminhos Personalizados

Avançado Settings

Segundos entre requisições. Somente Bing e Yandex respeitam isso. O Google ignora — use o Search Console para controlar a frequência.

Gerard robots.txt

29 regras ativas

# robots.txt generated by Kleap - 2026-06-01
# https://kleap.co/tools/robots-txt-generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/

# AI Crawlers
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

Como use this file

Upload this file to the root of your site so it is accessible at yoursite.com/robots.txt. Most hospedagem platforms (Vercel, Netlify, WordPress) have a public/ or root directory where you drop it. Changes take effect immediately — no restart required.

O Que É a Robots.txt File?

A robots.txt file is a plain text file placed at the root of your site (yoursite.com/robots.txt) that tells web crawlers which pages they can and cannot access. It follows the Robots Exclusion Protocol, a standard used by all major mecanismo de buscas including Google, Bing, Yahoo, and Yandex. When a crawler visits your site, it checks robots.txt first before crawling any page.

In 2026, robots.txt has become more important than ever. Beyond traditional mecanismo de busca crawlers, a new wave of AI bots — GPTBot (OpenAI), Claude-Web (Anthropic), PerplexityBot, and others — now crawl sites to train large language models. A properly configured robots.txt gives you control over which bots can access your content, protecting your intellectual property while maintaining mecanismo de busca visibility.

Por Que Usar Our Robots.txt Generator?

One-Clique Presets

Escolher from 6 presets: Allow All, Block All, Standard, E-commerce, WordPress, and Block AI Bots. Start with a modelo and customize from there.

Controles de Bots de IA

Bloqueie ou permita 11 crawlers de IA incluindo GPTBot, Claude-Web, PerplexityBot, CCBot e Bytespider. Mais fácil do que editar manualmente.

Validação ao Vivo

Veja avisos em tempo real quando fizer escolhas de risco, como bloquear o Googlebot ou bloquear seu site inteiro.

Controles de Mecanismos de Busca

Controle granular sobre Googlebot, Bingbot, Slurp (Yahoo), DuckDuckBot, Baiduspider e YandexBot. Permita ou bloqueie individualmente.

Declaração de Sitemap

Adicione sua URL de sitemap diretamente no robots.txt para que crawlers descubram todas as suas páginas. Esta é uma prática recomendada de SEO.

Copy & Baixar

Copy to clipboard or baixar as a .txt file. Upload to your site root and you are done. No signup, no account, no limitations.

Por Que Você Precisa Controlar Bots de IA em 2026

Since 2024, AI companies have deployed web crawlers that scrape sites to train large language models. GPTBot (OpenAI), Claude-Web (Anthropic), PerplexityBot, CCBot (Common Crawl), Bytespider (ByteDance/TikTok), and others now crawl billions of pages. Unlike mecanismo de busca crawlers that drive traffic to your site, AI crawlers take your content to train models — without sending visitors back.

Bloquear bots de IA no seu robots.txt é a forma mais eficaz de impedir que seu conteúdo seja usado para treinar modelos de IA sem permissão.

Our generator includes 11 known AI crawler user agents, updated for 2026. As new AI crawlers emerge, we add them. This is one of the few robots.txt generators that covers AI bots comprehensively — most competitors still only handle traditional mecanismo de busca crawlers.

Como Set Up Your Robots.txt

Configurar o robots.txt é simples. Aqui está um guia passo a passo para fazer certo.

1. Gerar Your File

Use the generator above to configure your rules. Start with a preset (Standard é recomendado for most sites) and adjust the AI bot settings based on your preference. Add your sitemap URL if you have one.

2. Faça Upload para a Raiz do Seu Site

The file must be at yoursite.com/robots.txt — not in a subdirectory. On most platforms: Vercel and Next.js use the public/ folder, WordPress uses the root directory or a plugin, Shopify auto-gerars it (você pode customize via the theme editor). For static sites, just drop the file alongside your index.html.

3. Teste Seu Robots.txt

Após o upload, acesse seusite.com.br/robots.txt no navegador para confirmar que está acessível. Depois use o Google Search Console (Ferramentas > Testador de robots.txt) para verificar URLs específicas.

4. Monitore e Atualize

Revise seu robots.txt trimestralmente. Novos bots de IA surgem regularmente — adicione seus user agents conforme aparecem. Verifique se mudanças na estrutura do site requerem atualizações nas regras.

Kleap vs Outros Geradores de Robots.txt

RecursoKleapSEOptimerSmallSEOTools
PreçoGrátis, sem limitesGrátis (básico)Grátis com anúncios
Controles de Bots de IA11 crawlers de IA (GPTBot, Claude, etc.)NenhumNenhum
Preset Modelos6 presets (Padrão, E-commerce, WordPress...)Somente básicoNenhum
Avisos ao VivoAvisos de validação em tempo realVerificação básica de sintaxeSem validação
Baixar .txtCopy + BaixarSomente copiarSomente copiar
Sem CadastroSimSimSim

Perguntas Relacionadas

O que acontece se eu não tiver um arquivo robots.txt?+
Without a robots.txt file, all crawlers (mecanismo de buscas and AI bots) assume they can access every page on your site. This means AI companies can freely scrape your content for training data. While mecanismo de buscas will still index your site normally, you lose control over which bots can access your content.
O robots.txt afeta meu ranking de SEO?+
Robots.txt itself does not directly affect rankings. However, blocking Googlebot will remove your pages from resultados de busca entirely. Used correctly, robots.txt improves SEO by preventing crawl budget waste on low-value pages (admin panels, duplicate content, staging pages) while ensuring important pages are crawled efficiently.
Posso bloquear bots de IA sem afetar o Google?+
Sim. Crawlers de IA (GPTBot, Claude-Web, PerplexityBot, CCBot, etc.) usam user agents diferentes do Googlebot. Você pode bloqueá-los especificamente sem afetar a indexação do Google.
O robots.txt é legalmente vinculante?+
O robots.txt é um padrão voluntário — não há mecanismo técnico de execução. No entanto, grandes empresas de IA afirmam respeitar robots.txt, e pode ser relevante em casos legais sobre raspagem de dados.
Com que frequência devo atualizar meu robots.txt?+
Revise trimestralmente. Novos crawlers de IA surgem regularmente, e a estrutura do seu site pode mudar. Após grandes redesigns ou mudanças de URL, verifique se as regras ainda se aplicam corretamente.

Perguntas Frequentes

O que é a robots.txt file?+
A robots.txt file is a plain text file at the root of your site that instructs web crawlers (mecanismo de busca bots, AI bots, etc.) which pages they can and cannot access. It follows the Robots Exclusion Protocol, suporteed by all major mecanismo de buscas.
Onde coloco o arquivo robots.txt?+
Deve estar na raiz do seu domínio: seusite.com.br/robots.txt. No Next.js e Vercel, coloque na pasta public/. No WordPress, está na raiz do WordPress.
O robots.txt consegue bloquear todos os crawlers de IA?+
Sim. Nosso gerador inclui 11 user agents de crawlers de IA conhecidos em 2026: GPTBot, ChatGPT-User, Google-Extended, Claude-Web, PerplexityBot, CCBot e mais.
Bloquear o Googlebot remove meu site da busca?+
Yes. If you block Googlebot, Google will eventually remove all your pages from its search index. This is almost never what você quer. Our generator warns you when you make this selecionarion so você pode avoid the mistake.
O que é the difference between Disallow and noindex?+
Disallow in robots.txt prevents crawlers from accessing a page. The noindex meta tag (or X-Robots-Tag header) tells crawlers not to index a page they have already crawled. For best results, use noindex for pages você quer crawled but not indexed, and Disallow for pages you do not want crawled at all.
Devo adicionar um sitemap ao robots.txt?+
Yes, it is a best practice. Adding a Sitemap: directive helps crawlers discover all your pages, especially new ones. Google and Bing both recommend including your sitemap URL in robots.txt. Você deveria also submit it in Google Search Console.
O que é crawl delay?+
O crawl-delay diz aos crawlers para esperar um número específico de segundos entre requisições. Isso evita que servidores de baixo tráfego sejam sobrecarregados. Google ignora, mas Bing e Yandex respeitam.
Posso usar wildcards no robots.txt?+
Yes. Googlebot and Bingbot suporte * (match any sequence) and $ (end of URL). For example, Disallow: /*.pdf$ blocks all PDF files. However, not all crawlers suporte wildcards, so use them carefully and test with Google's robots.txt Tester.
Este gerador de robots.txt é gratuito?+
Completely free, with no account required and no usage limits. Gerar as many robots.txt files as você precisa. We do not store your data or require any personal information.
Como I test if my robots.txt is working?+
After uploading, visit yoursite.com/robots.txt in your browser to confirm it is live. Then use Google Search Console's robots.txt Tester to verify Google can parse it correctly. Você pode also use the Bing Webmaster Tools robots.txt analyzer for Bing-specific validation.

Build a Site with SEO Built In

Kleap gerars robots.txt, sitemaps, meta tags, and dados estruturados automatically. Focus on your content, not technical SEO configuration.

Comece a Criar Grátis

Related Free Tools

Schema Generator

Generate JSON-LD structured data for Google rich results

Meta Tags Generator

Generate SEO meta tags, Open Graph and Twitter cards

Privacy Policy Generator

Create a GDPR-compliant privacy policy for your site

Website Copy Generator

Write compelling website copy with AI assistance

Free Robots.txt Generator | Criar & Validate Your Robots.txt 2026