El archivo robots.txt y su correcta configuración tiene una importancia muy elevada a la hora de administrar un sitio Web.

robots.txt es un archivo que debemos crear en la raíz de nuestro sitio web, mediante el cual podemos permitir o denegar el acceso de los robots de rastreo (normalmente de buscadores como Google, Bing, Yahoo!, entre otros) a nuestro contenido para que éste sea indexado en sus bases de datos o no.

De forma que nos puede ser muy útil a la hora de optimizar la indexación del sitio web en los principales buscadores facilitándole el trabajo a los bots de rastreo y destacando lo que más nos interese de nuestro sitio web.