منشئ ملف Robots.txt
أنشئ ملف robots.txt صحيحًا لموقعك للتحكم في زحف محركات البحث وتحسين الفهرسة
Quick Presets
Search Engine Crawlers
AI Crawlers
2026Control which AI bots can crawl your site for training data. Blocking these does NOT affect your search rankings.
Blocked Directories
Custom Paths
Advanced Settings
Seconds between requests. Only Bing and Yandex honor this. Google ignores it — use Search Console instead.
ملف Robots.txt الخاص بك
29 active rules
# robots.txt generated by Kleap - 2026-06-21 # https://kleap.co/tools/robots-txt-generator User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ # AI Crawlers User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: Google-Extended Disallow: / User-agent: Claude-Web Disallow: / User-agent: PerplexityBot Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: / User-agent: FacebookBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: cohere-ai Disallow: /
How to use this file
Upload this file to the root of your website so it is accessible at yoursite.com/robots.txt. Most hosting platforms (Vercel, Netlify, WordPress) have a public/ or root directory where you drop it. Changes take effect immediately — no restart required.
ما هو ملف Robots.txt؟
ملف robots.txt هو ملف نصي يخبر روبوتات محركات البحث بالصفحات التي يُسمح لها بالزحف إليها وفهرستها. يُوضع في المجلد الجذري للموقع ويتبع بروتوكول استبعاد الروبوتات.
يساعدك هذا الملف على منع فهرسة الصفحات الحساسة أو غير الضرورية، وتوجيه محركات البحث نحو المحتوى المهم، مما يُحسن كفاءة الزحف والفهرسة.
لماذا تستخدم منشئ Robots.txt الخاص بنا؟
قوالب جاهزة
اختر من 6 قوالب: السماح للكل، الحجب الكامل، معياري، تجارة إلكترونية، WordPress، وغيرها
التحكم في روبوتات الذكاء الاصطناعي
احجب أو اسمح لـ 11 زاحف ذكاء اصطناعي بما فيهم GPTBot وClaude-Web وPerplexityBot وCCBot
التحقق الفوري
شاهد التحذيرات في الوقت الفعلي عند اتخاذ خيارات محفوفة بالمخاطر
التحكم في محركات البحث
تحكم دقيق في Googlebot وBingbot وSlurp وDuckDuckBot وBaiduspider وغيرها
إعلان Sitemap
أضف رابط Sitemap مباشرةً في robots.txt لمساعدة الزاحفين على اكتشاف صفحاتك
نسخ وتحميل
Copy to clipboard or download as a .txt file. Upload to your site root and you are done. No signup, no account, no limitations.
لماذا تحتاج إلى التحكم في روبوتات الذكاء الاصطناعي في 2026؟
منذ 2024، نشرت شركات الذكاء الاصطناعي زاحفات ويب تستخرج محتوى المواقع لتدريب نماذجها دون إذن أصحابها.
حجب روبوتات الذكاء الاصطناعي في ملف robots.txt هو أكثر الطرق فعالية لمنع استخدام محتواك بدون إذنك.
منشئنا يتضمن 11 زاحف ذكاء اصطناعي معروف، محدّث لعام 2026. مع ظهور زاحفات جديدة، نحدّث قائمتنا باستمرار.
كيفية إعداد ملف Robots.txt
إعداد robots.txt مباشر. فيما يلي دليل خطوة بخطوة للبدء:
1. Generate Your File
Use the generator above to configure your rules. Start with a preset (Standard is recommended for most sites) and adjust the AI bot settings based on your preference. Add your sitemap URL if you have one.
2. Upload to Your Site Root
The file must be at yoursite.com/robots.txt — not in a subdirectory. On most platforms: Vercel and Next.js use the public/ folder, WordPress uses the root directory or a plugin, Shopify auto-generates it (you can customize via the theme editor). For static sites, just drop the file alongside your index.html.
3. Test Your Robots.txt
After uploading, visit yoursite.com/robots.txt in a browser to confirm it is accessible. Then use Google Search Console's robots.txt Tester (under Crawl > robots.txt Tester) to verify Google can parse it correctly. Fix any errors before they affect your indexing.
4. Monitor and Update
Review your robots.txt quarterly. New AI bots emerge regularly — add their user agents as they appear. If you add new sections to your site (like /api/ or /admin/), make sure they are blocked. Check Search Console for crawl errors that might indicate robots.txt misconfiguration.
مقارنة أدوات إنشاء Robots.txt
| Feature | Kleap | SEOptimer | SmallSEOTools |
|---|---|---|---|
| Price | Free, no limits | Free (basic) | Free with ads |
| AI Bot Controls | 11 AI crawlers (GPTBot, Claude, etc.) | None | None |
| Preset Templates | 6 presets (Standard, E-commerce, WordPress...) | Basic only | None |
| Live Warnings | Real-time validation warnings | Basic syntax check | No validation |
| Download .txt | Copy + Download | Copy only | Copy only |
| No Signup Required | Yes | Yes | Yes |