El documento robots.txt es el recurso Visitar esencial para la sitio web que desea ser bien vista por los buscadores como Google . Opera como un mapa para los rastreadores , indicándoles qué páginas de tu plataforma pueden deben indexadas y cuáles no . Una correcta configuración de este documento puede a evitar problemas de rastreo , mejorar l