Robots.txt:
Es un archivo de texto que usan los spider de los buscadores cuando visitan las webs. En el se puede indicar que partes de tu sitio son indexables y que robots pueden acceder a estas.No es necesario para los sitios, es decir no tienes porque tenerlo. Más información: www.robotstxt.org.