Robots exclusion standard -
web crawlers -
web robots -
website -
search engines - มักนิยมใช้ Robots ในการค้นหาเว็บต่างๆ
Sitemaps -
User-agent: * ||||| ในที่นี้ เครื่องหมาย * เป็นการอธิบายถึง Robots ทุกตัว รวมทั้งหมด
Keyword ที่น่าสนใจ
Robots exclusion standard
แหล่งที่มา
http://tools.seobook.com/robots-txt/
http://en.wikipedia.org/wiki/Robots_exclusion_standard
Special HACK !
ตัวอย่าง Robots File ของ Wiki Pedia
http://en.wikipedia.org/robots.txt
