¿Como investigar las alertas de Google herramientas para webmasters?

Google herramientas para webmasters proporciona muestras

Seamos realistas, este marcador es puramente ficticio. En realidad, Google Webmaster Tools y Botify Logs Analyzer están en el mismo equipo. Y se complementan muy bien entre sí.

Google herramientas para webmasters alerta y proporciona punteros. Botify Logs Analyzer potencia tu investigación.

Botify Logs Analyzer ayuda a localizar los problemas y evaluar la gravedad de un problema: proporciona datos completos donde Google herramientas para webmasters proporciona muestras.

Echemos un vistazo a los errores automatizados más comunes de Google herramientas para webmasters (vamos a dejar de lado las sanciones manuales, los mensajes de alerta acerca de la vinculación externa 'antinatural', detección de malware en páginas específicas, etc).

Google herramientas para webmasters envía mensajes de alerta cuando las tasas de error de rastreo se elevan. Estas tasas de error se encuentran disponibles en Crawl / sección de errores de Crawl, que se divide en errores del sitio y los errores de URL.

Principales alertas de errores de URL:

  • Aumento de los errores "Not found"
  • Aumento de errores 404 leves
  • Aumento de los errores de "permisos de autorización"
  • Aumento de páginas "no Follow".

Principales alertas de errores del sitio :

  • Google no puede acceder a tu sitio
  • Posibles cortes

Alertas importantes no relacionadas a errores de Crawl:

  • El robot de Google encuentra un número extremadamente alto de URLs en tu sitio
  • Cambio grande de tráfico por top URLs

 

Aumento de los errores "Not Found"

Lo que Google dice:

'Google detectó un aumento significativo en el número de URLs que devuelven un error 404 (Página no encontrada)'

Google herramientas para webmasters tiene:

Una lista de muestra con las prioridades de acuerdo a Google, y la fecha en que se detectó el error.

Cómo puede ayudar Botify Log Analyzer:

Compruebe a qué categorías estas páginas 404 pertenecen: un tipo de página que debe ser rastreado? Uno que no debería? Un tipo no identificado de nomenclatura de url (url posiblemente mal formada)?

Compruebe si (o qué parte de) estos 404 son nuevos: un gráfico que muestra específicamente rastreos en urls que nunca han sido rastreadas por el robot de Google previamente.

Compruebe cuándo comenzó este aumento de 404s: quizás comenzó lentamente algún tiempo antes de la alerta. Localiza páginas desde donde estos 404s están enlazados (con el rastreador web que viene con Botify Logs Analyzer)

Aumento de errores 404 leves

Lo que Google dice:

'Google detectó un aumento significativo en las URL que pensamos deberían devolver un error 404 (Página no encontrada) pero no lo hace. "

Google herramientas para webmasters tiene:

Una lista de muestra con las prioridades de acuerdo con Google y la fecha en la que se detectó cada error.

Cómo puede ayudar Botify Logs Analyzer:

Compruebe los códigos de resolución del rastreo del robot de Google para las categorías a las que pertenecen las urls en lista de muestra de Google, para ver si el problema se produce con todas las páginas de ciertas plantillas o sólo algunas páginas.

Aumento de los errores de "permisos de autorización"

Lo que Google dice:

'Google detectó un aumento significativo en el número de direcciones URL que se les impidió el rastreo debido a errores de permiso de autorización.'

Dicho de otro modo, el robot de Google está obteniendo un código de resolución "Forbidden" (código http 403) al solicitar algunas urls

Cualquiera de estas páginas deberían ser rastreadas por el robot de Google (y devolver un código http 200 - OK), o no deberían, en cuyo caso el robot de Google no debería malgastar recursos de rastreo tratando de acceder a estas páginas: éstas deberían estar denegadas en el archivo robots.txt.

Google herramientas para webmasters tiene:

Una lista de muestra con las prioridades de acuerdo con Google y la fecha en la que se detectó cada error

Cómo puede ayudar Botify Logs Analyzer:

Compruebe los códigos de resolución http para las categorías correspondientes (determinado a partir de las urls en lista de muestra de Google), para ver si el problema se produce con todas las páginas de ciertas plantillas o sólo algunas páginas.

Compruebe el volumen prohibido de rastreo y el porcentaje para evaluar la gravedad de un problema.

Aumento de páginas "no follow"

Lo que Google dice:

'Google detectó un aumento significativo en el número de direcciones URL que no hemos podido seguir completamente."

Ejemplos de redirecciones que no se completaron:

Redireccionamientos a páginas que no se encuentran

Cadenas de redirecciones (Google sólo seguirá un número limitado de redirecciones que forman una cadena)

Bucles de redirecciones (página A redirige a la página B, que a su vez redirige a la página A)

Qué ofrece GWT:

Una lista de muestra con las prioridades de acuerdo con Google y la fecha en la que se detectó cada error

Cómo puede ayudar Botify Logs Analyzer:

Comprobar el volumen de redirecciones, según el tipo de página redirigida

Compruebe el destino del redireccionamiento, a través de un sitio web de rastreo (utilizando el rastreador que viene con el analizador de logs)

Google no puede acceder a tu sitio

Lo que Google dice:

Una variedad de mensajes de advertencia acerca de los problemas a nivel de sitio que dan lugar a un pico de problemas de DNS, problemas de conectividad con el servidor, o problemas que se obtienen del archivo robots.txt del sitio.

Por ejemplo: "Durante las últimas 24 horas, el robot de Google encontró 89 errores al intentar conectarse a tu sitio. El ratio de fallo en la conexión de tu sitio es de 3,5%."

Vigila el archivo robots.txt: Google puede dejar de rastrearlo

Por ejemplo: "Durante las últimas 24 horas, el robot de Google encontró 531 errores al intentar acceder a tu archivo robots.txt. Para garantizar que no rastreamos páginas que figuran en ese archivo, hemos pospuesto el rastreo. Tasa de error de robots.txt de tu sitio es 100.0%"

Google anunciará que su rastreo se pospone incluso si la tasa de error no es del 100%. En la mayoría de los ejemplos que hemos visto, las tasas de error eran por encima de 40%, pero también hemos visto el mismo mensaje con un archivo robots.txt con una tasa de error por debajo del 10%.

Qué ofrece Google herramientas para webmasters:

El tipo de error (DNS, conectividad al servidor, acceso al archivo robots.txt)

Un número de intentos fallidos y tasa de fallos en las últimas 24 horas

La herramienta "ejecutar como Google" para tratar de solicitar el archivo robots.txt como haría el robot de Google.

Por supuesto, el único capaz de solventar problemas de DNS y de conectividad es tu proveedor de servicios.

Cómo puede ayudar Botify Logs Analyzer:

Compruebe el rastreo del robot de Google en el archivo robots.txt (Consejo: crear una categoría sólo para la url robots.txt para poder ser capaz de mantener una estrecha vigilancia sobre él).

Usted podrá ver los códigos de resolución HTTP, no sólo para las últimas 24 horas, también para el pasado: quizás hubo episodios con anterioridad de indisponibilidad menor del robots.txt, que no desencadenan ninguna alerta de Google.

Podría ser códigos de de error de resolución HTTP, tales como http 5XX (error del servidor), o sin respuesta http - que dará lugar en los logs a un descenso en el volumen de rastreo diario en el archivo robots.txt.

Comprobando esas fechas con el calendario de actualizaciones de la página web pueden ayudar a reducir las posibles causas.

En el caso de fallos de conexión: ver si hubo una elevada actividad de los robots y los usuarios, provocando una sobrecarga en el servidor que pueda provocar una tasa alta de fallo de conexión.

Posibles cortes de conexión

Lo que dice Google:

"Mientras se rastreaba tu sitio, hemos notado un aumento en el número de errores transitorios 404 leves"

Esto es muy similar a fallos en la conexión.

Qué ofrece Google herramientas para webmasters:

La fecha y la hora en la que el robot de Google experimentó el aumento de errores transitorios 404 leves que conllevan a creer que eran posibles cortes.

Cómo ayuda Botify Logs Analyzer:

Compruebe el volumen de rastreo del robot de Google y códigos de estado en el día que ocurrieron los errores transitorios 404 leves.

  • El robot de Google encuentró un número extremadamente alto de URLs en tu sitio

Lo que dice Google:

El robot de Google ha tenido problemas durante el rastreo de tu sitio [nombre del sitio]. El robot de Google encontró un gran número de enlaces en tu sitio. Esto puede indicar un problema con la estructura de URLs de tu sitio. [...] »

El mensaje explica, en esencia, que la situación no es la idónea: estas urls deben incluir duplicados, o páginas que no estaban destinadas a ser rastreadas por los motores de búsqueda.

GWT ofrece:

Una lista de URLs de muestra que pueden causar el problema. La lista puede no cubrir todos los problemas, advierte Google.

Cómo ayuda Botify Logs Analyzer:

Compruebe si hubo algún cambio reciente en la actividad de rastreo del robot de Google.

Compruebe qué categorías de páginas consumen una gran cantidad de rastreo, las cuales no generan visitas orgánicas.

Verificar si una cantidad significativa de rastreo se debe a "urls de advertencia" (urls que no deben ser rastreadas, y son identificadas como tales en el analizador de logs)

Compruebe si hay una gran cantidad de nuevas páginas rastreadas; si es así, cuando este nuevo rastreo comenzó, y si el inicio fue brusco

Compruebe la estructura del sitio web con el rastreador que viene con el analizador de logs: volúmenes muy altos a menudo se asocian a una mayor profundidad (ver top de razones para profundidad de sitios web ) y duplicados, dos problemas que a menudo se superponen.

  • Cambio grande de tráfico por top URLs

Lo que dice Google:

"Clicks en los resultados de búsqueda para[esta url] han aumentado / disminuido significativamente.'

Google herramientas para webmasters ofrece:

La url con el aumento / disminución del tráfico.

Cómo puede ayudar Botify Logs Analyzer:

Si esto fue causado por cambios del algoritmo de Google, lo más probable es que haya otras tendencias significativas en otras páginas.

Vea la lista de páginas que generan más tráfico orgánico durante un período determinado: exportar estos datos antes y después del período en que ocurrió el cambio de gran tráfico. Hacer esto por categoría para poder ver diferentes tendencias en función del tipo de página.

En el caso de una disminución significativa del tráfico, el contenido de la página también debe ser revisado, así como la vinculación interna de la página web (que se puede hacer con el rastreador que viene con el Botify Logs Analyzer.

Este artículo es una traducción del post de Annabelle Bouard en el blog oficial de Botify Botify vs GWT, Problem Detection Championship Finals