Leandro Heliz | Frontend Developer
Leandro Heliz

Fecha de Publicación: 06/05/2024

Guía del archivo Robots.txt

 

¿Qué es el archivo robots?

El archivo robots.txt es un archivo de texto plano que indica a los motores de búsqueda cómo deben interactuar con las páginas de un sitio web. Este archivo esta situado en la raíz de los archivos de un sitio web, es uno de los primeros parametros que utilizan los motores de búsqueda para rastrear un sitio cuando lo visitan y así indexarlo.

¿Cúal es su importancia para el SEO?

Este archivo es fundamental porque nos ayuda a controlar y prevenir el rastreo de contenido no deseado. Al optimizarlo, nos aseguramos de que los motores de búsqueda solo indexen nuestro contenido más relevante, lo cual mejora el uso y la eficiencia de la cuota de rastreo de los motores de búsqueda.

¿Cómo puedo visualizar el archivo robots de un siito web?

Para poder visualizar el archivo robots de tu sitio web o cualquier otro, puedes utilizar la ruta por defecto que es la siguiente: https://www.sitio-web.com/robots.txt.

Esto nos mostrara la estructura interna del archivo robots del sitio, la cual, por ejemplo se ve de la siguiente manera:

User-agent: * #Especificamos el nombre del bot al cual le daremos las instrucciones, en este el asterisco* indica que sera para todos los bots que rastreen el sitio.#

Allow: / #Damos la instrucción de poder rastrear todas las rutas del sitio.#

Disallow: /search? #Damos la instrucción de no rastrear los parámetros de filtro (como ejemplo).#

Entonces, ¿Cómo podemos crear nuestro propio archivo robots?

Para crear un archivo robots.txt, simplemente necesitamos un editor de texto plano (también es válido el bloc de notas, siempre y cuando lo guardemos con el nombre correcto).

Escribe las directivas necesarias para tu sitio y guárdalo como robots.txt, luego súbelo a la raíz de los archivos de tu sitio web.

Directivas generales para el archivo robots:

  1. Allow: Permite el acceso a los rastreadores a áreas específicas.
  2. Disallow: Se utiliza para bloquear el acceso a los rastreadores a ciertas áreas de tu sitio.
  3. URL Sitemap: Proporciona la ubicación del archivo sitemap.xml (mapa del sitio) para facilitar la indexación de todas tus páginas.

Conclusiones

El archivo robots.txt es una herramienta esencial optimizar la cuota de rastreo e indexación de un sitio web. Mantenerlo actualizado y configurado correctamente puede marcar una gran diferencia en tu estrategia de SEO.

 

Ahora que comprendes la importancia del archivo robots.txt en SEO y cómo actualizarlo correctamente, ¡pon en práctica estos consejos para mejorar la visibilidad de tu sitio web!

Documentación Adicional de Google

Informate más en mi Blog Técnico

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Comentarios

Leandro Heliz | Frontend Developer