Si la gestión del SEO de tu página web corre de tu cuenta, una de las herramientas que más utilizarás serán Google Search Console. Estas herramientas nos permiten ver los enlaces a nuestra web, errores de rastreo, recursos bloqueados, etc.. Todo esto nos ayuda a ver cómo está viendo e indexando Google nuestra página web.
Revisando estos parámetros para mi página web, me encontré con unos recursos bloqueados, dentro del apartado ‘Recursos bloqueados’. Esto significa que hay recursos que utiliza nuestra web que no son accesibles por Google. Aquí os dejo una captura de cómo aparecía el error:
Pantalla de recursos bloqueados en Google Search Console
Desde hace unos años, Google quiere comprobar TODOS los recursos que usan las páginas webs para probar su correcto funcionamiento. A continuación cuento cómo hice para quitar esta alerta de Google.
Detectar el origen del bloqueo. Archivo robots.txt
Pasos para solucionar el problema de recursos bloqueados en Google Search Console
Primero, haciendo click sobre la línea del host, pude ver que el archivo bloqueado era de JavaScript y que se encontraba en la ruta /wp-admin/js/. Seleccionando la línea del recurso bloqueado, pude ver cuáles eran las páginas que lo utilizan. Estas páginas puede ser que no estén siendo indexadas por Google, ya que no puede verificar su correcto funcionamiento.
El siguiente paso fue seleccionar cada una de las páginas del listado, tras lo cual se me mostró la siguiente ventana:
Como vemos, parece que el problema reside en el archivo robots.txt, que está bloqueando el acceso al archivo JavaScript que utilizan las páginas. En la captura vemos que Google nos ofrece varios puntos a llevar a cabo para solucionar el problema:
- Comprobar cómo ve Google la página para entender el impacto visual y funcional que el bloqueo del recurso está produciendo en nuestra web.
- Verificar la propiedad del sitio, para poder comprobar y editar (si es necesario) el archivo robots.txt y así arreglar el bloqueo de recursos. Este paso realmente ya está hecho. Para utilizar las herramientas de Google Search Console debemos verificar en un primer momento que somos los administradores del sitio web. De todas formas, si hacemos clic en el botón ‘Verificar host’, se nos ofrecen más métodos para demostrar que el sitio es nuestro. Yo añadí una nueva verificación mediante un archivo HTML, así la comprobación es más sólida 🙂
- Por último, revisar y modificar el archivo robots.txt para arreglar el bloqueo. Aquí es donde empieza la chicha.
El archivo robots.txt
Antes de seguir, explicaré de forma básica qué es el archivo robots.txt. El archivo robots.txt no es más que un fichero físico que está en el directorio raíz de las páginas web. Su función es indicar a los buscadores cómo se tiene que rastrear el contenido de la página. Aquí es importante remarcar que, aunque un fichero no se rastree, sí que se indexa. Por eso, los archivos o ficheros que se bloqueen dentro del robots.txt se mostrarán como bloqueados en las búsquedas pero su contenido sí que será indexado. Con esto, podemos decir que el robots.txt no debe de ser usado para ocultar o proteger contenidos contenidos. Para ello habría que usar otros métodos. Todo esto está muy bien explicado en este artículo sobre el archivo robots.txt.
Editar el archivo robots.txt para ‘liberar’ los recursos bloqueados
Haciendo clic en el botón del punto 3 de la ventana, el que pone ‘Herramienta de pruebas de robots.txt’, se nos muestra el contenido del archivo, dentro de un editor que nos permitirá modificarlo. Ahora que sabemos, a grandes rasgos, qué es lo que hace el archivo robots.txt, vamos a descifrar la clave del problema. Vemos que Google nos marca ‘discretamente’ subrayando en rojo la línea del archivo que está causando el bloqueo del recursos:
Editor del robots.txt en Google Search Console
Disallow: /wp-admin/
Aquí se indica que no se rastree lo que hay dentro de la carpeta ‘wp-admin’. Al principio del post vimos que el archivo origen del error es un fichero Java Script ubicado, precisamente, dentro de esa carpeta. Tiene pinta que si quitamos esta línea, el archivo se desbloqueará y con ellos desaparecerá el error de recursos bloqueados, ¿no?
Así que, finalmente, para terminar de solucionar este problema, editaremos el fichero robots.txt y eliminaremos esta línea. Si tenéis miedo o desconfiamos de esta acción, os dejo este artículo de YOAST en el que explica cuál es la mejor estructura para un archivo robots.txt que favorezca el SEO de una página.
Una vez editemos el archivo robots.txt, el error no desaparecerá inmediatamente. Tendremos que esperar unas horas/días para verificar que ya está arreglado.
Solicitar indexación manual
Si no queremos esperar, podemos solicitar que Google compruebe de nuevo esas páginas afectadas por el recurso bloqueado, para que las indexe. Para ello iremos a la opción del panel de Google Search Console Rastreo > Explorar como Google. En esta sección iremos introduciendo las URLs de las páginas y haciendo clic en Obtener y procesar. Cuando el procesado se haya hecho, si no sale ninguna alerta y todo va bien, hacemos clic en Solicitar indexación. Se nos abrirá una ventana en la seleccionamos el método de envío, en función de la página que estemos trabajando. Cuando demos en ‘Ir’, si todo ha ido bien, la página aparecerá en en listado con el estado Se ha solicitado la indexación. Unas horas después, podremos comprobar que las páginas han sido indexadas correctamente y ya no salen errores por recursos bloqueados.
IMAGEN
