¿Cómo reduzco el intervalo de rastreo de bots de Bing?
Los crawlers bot de MSN o Bing entran en tu web para indexar tu contenido y mostrarlo en los resultados del motor de búsqueda de Bing.
Bing es compatible con las directivas del Protocolo de Exclusión de Robots (REP) las cuales pueden ser añadidas en el archivo robots.txt.
El intervalo de rastreo de este bot puede ser controlado usando un archivo robots.txt. Para reducir la frecuencia es necesario añadir esta línea:
User-agent: bingbot
Crawl-delay: 1
Los dos siguientes crawlers son utilizados también: MSNBot (recursos generales) y MSNBot-Media (imágenes y vídeo).
El user agent correspondiente es el siguiente:
msnbot
msnbot-media
Bing recomienda usar el intervalo más lento posible. Aquí tienes una lista de los valores que puedes usar:
- No hay intervalos – Normal
- 1 – Lento
- 5 – Muy lento
- 10 – Extremadamente Lento
Como alternativa, puedes registrar una cuenta en la herramienta WebMasters de Bing y configurar los intervalos directamente con ellos.