User-Agent: * #السماح ل
Allow: /.
Allow: /
Disallow: /cgi-bin/ #حظر مجلد
Disallow: /admin/
Request-rate: 1/5         #   معدل الطلب للروبورتس وهو صفحة لكل 5 ثواني
Visit-time: 0200-0500     #تحديد وقت الزيارة بتوقيت غرنتش من  خمسة الى اثنين
User-agent: *
User-agent: googlebot # allow Google crawler
User-agent: Yahoo! Slurp
User-agent: MSNBOT
User-agent: Slurp #ياهو
Crawl-delay: 120 #تاخير الطلب