El fichero robots.txt es un recurso clave para toda sitio que desea aparecer bien posicionada por los rastreadores como Chrome . Opera como un instructivo para los rastreadores , indicándoles qué páginas de tu web pueden están rastreadas y cuáles evitar. La adecuada configuración de este archivo sirve a evitar problemas de rastreo , mejorar l