robots.txt: La herramienta esencial para controlar el acceso de los robots a tu sitio web

https://wwwhatsnew.com/2025/03/09/robots-txt-la-herramienta-esencial-para-controlar-el-acceso-de-los-robots-a-tu-sitio-web/

El archivo robots.txt es un clásico surgido en los 90 que permite a los desarrolladores web sugerir límites a los buscadores, evitando que rastreen e indexen directorios privados. Aquí la palabra clave es «sugerir» pues, aunque no sea ético, muchos buscadores han demostrado recientemente no ser muy éticos y respetuosos.