Cómo el robots.txt puede anular el valor de tus enlaces
Por qué es fundamental monitorizar los cambios en el robots.txt de los sitios de tus partners para conservar el valor de las colocaciones de tus intercambios de enlaces.
El asesino silencioso de enlaces
El enlace de tu partner sigue en la página. El anchor text es correcto. Es dofollow. Todo parece estar bien cuando visitas la URL en tu navegador. Pero si el robots.txt impide que Googlebot rastree esa página, el enlace no transmite ningún valor.
Es uno de los problemas que más se pasan por alto en la gestión del intercambio de enlaces.
Cómo afectan los bloqueos de robots.txt a los enlaces
Cuando una página está bloqueada por robots.txt:
- Los rastreadores de los buscadores no pueden acceder al contenido de la página
- Los rastreadores no descubren ni siguen los enlaces de esa página
- Esos enlaces no transmiten PageRank ni autoridad
- La página puede seguir apareciendo en los resultados de búsqueda, pero con información limitada
Por qué los partners cambian el robots.txt
Los partners pueden modificar su robots.txt por varios motivos:
- Reestructuración del sitio: las reglas de bloqueo amplias durante las migraciones pueden bloquear por accidente secciones de contenido
- Actualizaciones del CMS: algunas plataformas CMS modifican el robots.txt durante las actualizaciones
- Errores de desarrollo: un robots.txt de staging que bloquea todo el rastreo acaba subido a producción
- Bloqueo intencionado: bloquear secciones de poco valor sin darse cuenta de que afecta a páginas con tus enlaces
Detectar problemas en robots.txt
Tu monitorización de enlaces debe incluir:
- Revisiones periódicas del archivo robots.txt del partner en busca de cambios
- Verificación de que la página concreta que enlaza no está bloqueada por ninguna directiva
- Inspección de URL en Google Search Console de tus propias páginas enlazadas para confirmar que Google ve los enlaces de referencia
- Pruebas de rastreo que simulan el acceso de Googlebot a la página que enlaza
Cómo responder a los problemas
Cuando detectes un problema en robots.txt:
- Contacta con el partner cuanto antes, ya que puede que no sea consciente del problema
- Indica con detalle qué páginas están afectadas
- Sugiere la solución si puedes identificar la directiva problemática
- Supervisa la resolución para confirmar que la página vuelve a ser rastreable
Incluso unas pocas semanas de bloqueo en robots.txt pueden anular los beneficios de autoridad que esperabas de esa colocación. La monitorización proactiva es imprescindible.
Mantente al día
Recibe en tu bandeja de entrada ideas de link building, estrategias SEO y novedades del producto.
Sin spam. Date de baja cuando quieras.