¿Existe algún crawl-delay en los servidores de SiteGround?
El crawl-delay configurado por defecto en nuestros servidores es de 10 segundos para todos los agentes usuarios. Puedes sobrescribir este valor creando un nuevo archivo llamado robots.txt en la carpeta raíz de los archivos de la web que lo deseas, añadiendo estas líneas:
User-agent: *
Crawl-delay: 10Sustituye el valor de crawl-delay con el deseado. El mínimo valor que se le puede asignar al crawl-delay es de 1.