Recientemente, varios de mis cliente me han escrito poque han recibido un email de Google Search Console con el siguiente mensaje:

«Search Console ha detectado que hay páginas de tu sitio que no se están indexando debido al motivo siguiente: Bloqueada por robots.txt.
Si este motivo no es intencionado, te recomendamos que lo corrijas para que tus páginas se indexen y aparezcan en Google.»

Este mensaje suele causar preocupación, pero no hay motivo para alarmarse. Este tipo de aviso simplemente te informa que algunas páginas de tu sitio están siendo bloqueadas por el archivo robots.txt, un archivo que le dice a los motores de búsqueda qué páginas deben ignorar o no indexar. En la mayoría de los casos, es intencionado y beneficioso para el SEO.

Sin embargo, es importante asegurarse de que las páginas bloqueadas sean las correctas. Por eso, en este artículo vamos a revisar qué páginas no deberías indexar en tu sitio web para optimizar tu SEO y evitar errores comunes.

¿Qué significa indexar una página?

La indexación es el proceso mediante el cual los motores de búsqueda como Google añaden tus páginas a su base de datos para que puedan aparecer en los resultados de búsqueda. No todas las páginas de tu sitio deben ser indexadas, ya que algunas pueden generar contenido duplicado, reducir la autoridad de tu sitio o simplemente no ser relevantes para los usuarios.

Páginas que no deberías indexar en una web

1. Páginas de gracias o confirmación

Estas páginas son aquellas que los usuarios ven después de completar una acción, como llenar un formulario o realizar una compra. Aunque son esenciales para la experiencia del usuario, no aportan valor para el SEO. Además, indexarlas podría hacer que las personas lleguen a ellas sin haber completado los pasos previos, lo que confundiría tanto a los motores de búsqueda como a los usuarios.

Cómo evitar su indexación:

Añade una etiqueta noindex en el encabezado de la página de agradecimiento o redirige a los usuarios directamente a la página deseada.

2. Páginas de Políticas (Privacidad, Términos de Uso)

Estas páginas son importantes para cumplir con las normativas legales, pero no contienen contenido valioso para los motores de búsqueda. No es necesario que se indexen, ya que no aportan nada a los usuarios que realizan búsquedas orgánicas y pueden diluir el valor de otras páginas más relevantes.

Cómo evitar su indexación:

Añade una etiqueta noindex en estas páginas para que Google no las incluya en su índice.

3. Páginas de login o de panel de administración

Las páginas de acceso para administradores, usuarios registrados o paneles de control no deben estar accesibles a través de los motores de búsqueda. Estas páginas no solo carecen de valor SEO, sino que también representan un riesgo de seguridad, ya que podrían exponer vulnerabilidades si son descubiertas por terceros.

Cómo evitar su indexación:

Implementa una etiqueta noindex o bloquea estas páginas directamente desde el archivo robots.txt para evitar su rastreo.

4. Páginas de resultados de búsqueda interna

Algunas webs tienen sistemas de búsqueda interna que generan múltiples URLs con los resultados de búsqueda de los usuarios. Estas páginas suelen ser consideradas contenido duplicado, ya que no aportan nuevo valor y simplemente muestran variaciones de las páginas ya indexadas.

Cómo evitar su indexación:

Bloquea los resultados de búsqueda interna utilizando robots.txt o implementa noindex en el HTML de estas páginas.

5. Páginas de contenido duplicado

El contenido duplicado es uno de los enemigos del SEO. Si tienes varias páginas que muestran el mismo contenido o versiones muy similares, los motores de búsqueda pueden penalizar tu sitio al no saber cuál es la versión más relevante. Un ejemplo común son las páginas con versiones impresas de artículos o múltiples URLs con parámetros.

Cómo evitar su indexación:

Utiliza etiquetas canonical para indicar la página preferida o implementa noindex en las versiones duplicadas.

6. Páginas en desarrollo o en construcción

Si tienes páginas que aún no están listas para ser publicadas, no deberían ser indexadas, ya que las páginas incompletas pueden afectar negativamente tu autoridad. Publicar contenido vacío o pobre es una señal negativa para los motores de búsqueda.

Cómo evitar su indexación:

Utiliza una etiqueta noindex temporal o directamente no publiques la página hasta que esté completa.

7. Archivos adjuntos o medios sin contexto

Los archivos adjuntos, como PDFs o imágenes que no tienen contexto o texto descriptivo, pueden no ser útiles para los motores de búsqueda. Además, si estos archivos se indexan sin estar vinculados a páginas relevantes, podrían aparecer como resultados sin sentido para los usuarios.

Cómo evitar su indexación:

Implementa noindex en los archivos adjuntos o usa plugins que bloqueen la indexación de este tipo de contenido en sistemas CMS como WordPress.

¿Debe indexarse la página de error 404?

No, la página de error 404 no debe ser indexada por los motores de búsqueda. Esto se debe a que una página 404 indica que el contenido solicitado no existe, por lo que indexarla no aporta ningún valor y puede afectar negativamente a tu SEO.

Razones por las que no debes indexar una página 404:

1. No tiene contenido relevante: Una página 404 no proporciona información útil a los usuarios ni a los motores de búsqueda.
2. Afecta tu autoridad SEO: Si los motores de búsqueda indexan tu página 404, podría perjudicar la calidad general de tu sitio, ya que las páginas de error no ofrecen valor.
3. Mala experiencia de usuario: Los usuarios que encuentran una página 404 desde los resultados de búsqueda pueden frustrarse, lo que puede aumentar tu tasa de rebote.

Cómo evitar que una página 404 se indexe:

• Asegúrate de que la página 404 devuelva el código de estado HTTP 404, lo que indica a los motores de búsqueda que la página no existe y no debe ser indexada.
• Puedes agregar una etiqueta noindex a la página 404 para garantizar que los bots de búsqueda no la indexen, aunque esto no siempre es necesario si ya devuelve el código 404 correctamente.

En resumen, las páginas de error 404 no deben ser indexadas, y es una buena práctica asegurarse de que sean tratadas adecuadamente tanto para SEO como para la experiencia de usuario.

Así que ya sabes

Evitar la indexación de páginas innecesarias o irrelevantes es una de las mejores formas de mejorar tu estrategia SEO. Centrarte en indexar solo el contenido más valioso y optimizado no solo mejorará tu posicionamiento en Google, sino que también ofrecerá una mejor experiencia a tus usuarios.

Si recibes un aviso de Google Search Console relacionado con tu archivo robots.txt, revisa bien qué páginas están siendo bloqueadas. Si son páginas que no deberían ser indexadas, entonces puedes estar tranquilo.

¡Optimiza tu SEO y maximiza el potencial de tu web!