robots.txt فائل کیا ہے؟

ایک robots.txt فائل ایک سادہ ٹیکسٹ فائل ہے جو آپ کے ڈومین کے روٹ پر رکھی گئی ہے جو ویب کرالر کو بتاتی ہے کہ انہیں کن صفحات یا حصوں تک رسائی کی اجازت ہے یا نہیں۔

کیا robots.txt صفحات تک رسائی کو روکتا ہے؟

نمبر. robots.txt مشورہ ہے۔ اچھے سلوک کرنے والے کرالر اس کا احترام کرتے ہیں، لیکن یہ بدنیتی پر مبنی بوٹس تک رسائی کو نہیں روکتا ہے۔ حساس مواد کو چھپانے کے لیے robots.txt پر انحصار نہ کریں۔

GPTBot کیا ہے اور مجھے اسے بلاک کرنا چاہیے؟

GPTBot OpenAI ویب کرالر ہے جو AI ماڈلز بشمول ChatGPT کے لیے تربیتی ڈیٹا اکٹھا کرنے کے لیے استعمال ہوتا ہے۔ بہت سے سائٹ کے مالکان اپنے مواد کو بغیر معاوضے کے AI ٹریننگ ڈیٹا کے طور پر استعمال ہونے سے روکنے کے لیے اسے بلاک کرنے کا انتخاب کرتے ہیں۔

Disallow: / اور Disallow: * میں کیا فرق ہے؟

نامنظور: / جڑ سے شروع ہونے والے تمام صفحات تک رسائی کو روکتا ہے، جو کہ سب کچھ ہے۔ Disallow: * غلط نحو ہے۔ * وائلڈ کارڈ راستوں میں یو آر ایل کے نمونوں کو ملانے کے لیے ہے۔

کیا میں سب فولڈر کی اجازت دے سکتا ہوں جبکہ باقی سب کچھ نامنظور کرتا ہوں؟

جی ہاں اجازت نامے کی ہدایت سے پہلے اجازت نامے کو رکھیں۔ اجازت دیں: /public/ اس کے بعد Disallow: / صرف عوامی فولڈر کی اجازت دیتا ہے اور باقی سب کو روکتا ہے۔

ورڈپریس سائٹس کو کن راستوں کی اجازت نہیں دینی چاہیے؟

ورڈپریس سائٹس کو عام طور پر /wp-admin/ کو اجازت نہیں دینی چاہئے سوائے /wp-admin/admin-ajax.php اور /wp-login.php کے۔

کرال میں تاخیر کیا ہے؟

کرال میں تاخیر کی ہدایت بوٹ کو درخواستوں کے درمیان N سیکنڈ انتظار کرنے کو کہتی ہے۔ نوٹ کریں کہ گوگل بوٹ کرال میں تاخیر کو نظر انداز کرتا ہے اور گوگل سرچ کنسول سے محدود کردہ اپنی شرح کا استعمال کرتا ہے۔

GPTBot کے علاوہ کون سے AI کرالر موجود ہیں؟

معروف AI ٹریننگ کرالر میں GPTBot، CCBot، anthropic-ai، Google-Extended، PerplexityBot، Bytespider، اور DataForSeoBot شامل ہیں۔ بلاک AI ٹریننگ بوٹس کے پیش سیٹ میں یہ سب شامل ہیں۔

کیا میں راستوں میں وائلڈ کارڈ استعمال کر سکتا ہوں؟

جی ہاں $ کیریکٹر URL کے آخر سے میل کھاتا ہے۔ * کردار حروف کی کسی بھی ترتیب سے میل کھاتا ہے۔ مثال کے طور پر Disallow: /*.pdf$ تمام PDF فائلوں کو روکتا ہے۔

robots.txt فائل کہاں جاتی ہے؟

robots.txt فائل کو آپ کے ڈومین کی جڑ میں رکھا جانا چاہیے۔ یہ صرف اس ڈومین پر لاگو ہوتا ہے جہاں اس کی میزبانی کی جاتی ہے۔

Robots.txt Generator

نیا

فارم UI، AI بوٹس بلاک سمیت عام پری سیٹس اور سادہ انگریزی وضاحتوں کے ساتھ robots.txt فائلیں بنائیں۔

ہمیشہ کے لیے مفت

رجسٹریشن ضروری نہیں

کوئی فائل سٹور نہیں

User-agent: *
Allow: /

سائٹ میپ URL (اختیاری)

یہ ٹول ایمبیڈ کریں

اس ٹول کو iframe کے ذریعے اپنی ویب سائٹ یا بلاگ میں شامل کریں۔

<iframe src="https://dukotools.com/tools/robots-txt-generator?embed=1" width="100%" height="600" frameborder="0" allow="clipboard-write" loading="lazy" title="robots-txt-generator tool"></iframe>

About Robots.txt Generator

Robots.txt جنریٹر درست robots.txt فائلیں بناتا ہے فارم UI کے ذریعے آپ کو ہدایتی نحو کو یاد رکھنے کی ضرورت کے بغیر۔ یوزر ایجنٹس سیکشن آپ کو متعدد قواعد شامل کرنے دیتا ہے: گوگل بوٹ، بنگ بوٹ، GPTBot، CCBot، اور DuckDuckBot سمیت عام کرالر کے ڈراپ ڈاؤن سے ایک بوٹ منتخب کریں، یا کوئی بھی حسب ضرورت صارف ایجنٹ ٹائپ کریں۔ ہر قاعدہ میں الگ الگ اجازت دینے والے راستے ہوتے ہیں اور راستے کے ان پٹ کو مسترد کرتے ہیں۔ پری سیٹ پینل ایک کلک کے حل فراہم کرتا ہے: بلاک AI ٹریننگ بوٹس GPTBot، CCBot، anthropic-ai، اور دیگر معروف AI ٹریننگ کرالر کے لیے Disallow شامل کرتا ہے۔ تمام بوٹس کو مسدود کریں۔ تمام بوٹس کی اجازت دیں؛ ورڈپریس معیاری؛ اور ہوم پیج کے علاوہ ہر چیز کو بلاک کریں۔ سادہ انگریزی وضاحتی پینل ہر تیار کردہ ہدایت کو پڑھنے کے قابل جملوں میں ترجمہ کرتا ہے۔

کلیدی خصوصیات

فارم پر مبنی UI
ہدایتی نحو کو یاد کیے بغیر ساختی شکل کے ذریعے robots.txt بنائیں۔
بلاک اے آئی ٹریننگ بوٹس پیش سیٹ
ایک کلک پر سیٹ GPTBot، CCBot، anthropic-ai، اور تمام معروف AI ٹریننگ کرالر کے لیے Disallow شامل کرتا ہے۔
عام بوٹ ڈراپ ڈاؤن
Googlebot، Bingbot، GPTBot، CCBot، DuckDuckBot کو منتخب کریں یا حسب ضرورت صارف ایجنٹ ٹائپ کریں۔
ایک سے زیادہ صارف ایجنٹ کے قواعد
انفرادی اجازت اور نامنظور راستوں کے ساتھ ضرورت کے مطابق زیادہ سے زیادہ صارف ایجنٹ بلاکس شامل کریں۔
سادہ انگریزی وضاحتیں
ہر تیار کردہ ہدایت کی وضاحت آؤٹ پٹ کے ساتھ سادہ پڑھنے کے قابل انگریزی میں کی گئی ہے۔
سائٹ کا نقشہ URL ہدایت
آپ کے sitemap.xml میں ایک Sitemap ڈائریکٹو پوائنٹ کرالرز کو شامل کرتا ہے۔
robots.txt کے بطور ڈاؤن لوڈ کریں۔
آپ کی سائٹ کی جڑ میں رکھنے کے لیے درست فائل نام کے ساتھ فائل ڈاؤن لوڈ کرتا ہے۔

استعمال کرنے کا طریقہ

1
ایک پیش سیٹ منتخب کریں (اختیاری)
بلاک AI بوٹس یا ورڈپریس سٹینڈرڈ جیسے فوری عام کنفیگریشنز کے لیے پہلے سے سیٹ کارڈ پر کلک کریں۔
2
صارف ایجنٹ کے قواعد شامل کریں۔
صارف ایجنٹ کو منتخب کریں یا ٹائپ کریں اور راستے کی اجازت اور اجازت نہ دیں۔
3
اپنا سائٹ میپ URL شامل کریں۔
سائٹ میپ ان پٹ میں اپنا sitemap.xml URL درج کریں۔
4
وضاحتیں پڑھیں
ہر تیار کردہ ہدایت کی سادہ انگریزی وضاحت کا جائزہ لیں۔
5
ڈاؤن لوڈ یا کاپی کریں۔
فائل کو robots.txt کے بطور ڈاؤن لوڈ کریں یا مواد کاپی کریں۔

حقیقی دنیا کے استعمال کے معاملات

AI ڈیٹا سکریپر کو مسدود کرنا

ایک بلاگ کا مالک بلاک AI ٹریننگ بوٹس کے پیش سیٹ کا استعمال کرتا ہے تاکہ ان کے مواد کی حفاظت کے لیے تمام معروف AI ٹریننگ کرالر کے لیے Disallow کے اصول شامل کیے جائیں۔

ای کامرس سائٹ کنفیگریشن

ایک ای کامرس ڈویلپر پروڈکٹ کے صفحات کی اجازت دینے کے لیے فارم کا استعمال کرتا ہے جبکہ کارٹ، چیک آؤٹ، ایڈمن، اور اندرونی تلاش کے صفحات کی اجازت نہیں دیتا۔

میڈیا سائٹ کنفیگریشن

ایک نیوز پبلشر ورڈپریس معیاری پیش سیٹ کا استعمال کرتا ہے اور مصنف کے آرکائیو صفحات تک رسائی کو روکنے کے لیے حسب ضرورت اصول شامل کرتا ہے جو مواد کی نقل تیار کرتے ہیں۔

اکثر پوچھے گئے سوالات

Related Free Tools

Explore these tools that work great alongside Robots.txt Generator:

Sitemap Generator

Generate a valid XML sitemap from a URL list with changefreq, priority, and lastmod settings.

Meta Tag Generator

Generate complete HTML meta tags including Open Graph and Twitter Card with live SERP preview.

متعلقہ ٹولز