در هر خط یک آدرس کامل نقشهٔ سایت.
robots.txt
۱۵۹ B
فایل robots.txt را در ریشهٔ دامنه قرار دهید (https://your-site/robots.txt). این فایل فقط درخواستی از خزندههای قانونمدار است، نه کنترل دسترسی؛ برای پنهان کردن صفحات خصوصی به آن تکیه نکنید. گوگل Crawl-delay را نادیده میگیرد.