¿Cómo bloquear el acceso de bots de búsqueda a tu página web?

Para bloquear el acceso de bots a tu página web, crea un archivo llamado robots.txt con el siguiente contenido:

User-agent: *
Disallow: /

Para bloquear el acceso de bots a una carpeta en concreto, usa este código: