
El archivo robots.txt es un clásico surgido en los 90 que permite a los desarrolladores web sugerir límites a los buscadores, evitando que rastreen e indexen directorios privados. Aquí la palabra clave es «sugerir» pues, aunque no sea ético, muchos buscadores han demostrado recientemente no ser muy éticos y respetuosos.
Seguir leyendo







