El fichero robots.txt es una recurso clave para cualquier sitio que pretende aparecer bien vista por los buscadores como Google . Opera como el directorio para los crawlers , indicándoles qué páginas de tu web pueden ser rastreadas y cuáles evitar. La óptima configuración de este fichero ayuda a evi