Robots

Un archivo robots.txt es un archivo de texto que impide que un rastreador web como, por ejemplo, Googlebot, rastree páginas determinadas de tu sitio. Básicamente, el archivo es una lista de comandos, como Allow y Disallow, que le indica a los rastreadores web las URL que pueden recuperar y las que no. Por lo tanto, si no permites una URL en tu archivo robots.txt, dicha URL y su contenido no aparecen en los resultados de búsqueda de Google.

El archivo robots.txt solo es necesario si tu sitio incluye contenido que no deseas que ni Google ni otros motores de búsqueda indexen. Para que Google indexe el sitio entero, no crees un archivo robots.txt (ni siquiera uno que esté vacío).

Puede utilizar una etiqueta HTML <META> para decirle a los robots que no indexen el contenido de una página, o que no analicen los enlaces de la misma.
Por ejemplo:

Hay dos consideraciones importantes cuando se utilizan los robots <META>:

  • Los robots pueden ignorar su etiqueta <META>. Especialmente los robots spyder y malware que exploran la web en busca de vulnerabilidades de seguridad y de direcciones email para spammers.
  • La directiva nofollow sólo se aplica a los enlaces de esta página. Es perfectamente posible que un robot puede encontrar los mismos enlaces en otra página sin nofollow.
  • No confunda el nofollow meta con el nofollow rel = “nofollow” como atributo de enlace.

Al igual que cualquier etiqueta <meta>, se debe colocar entre HEAD de una página HTML. Usted debe ponerlo en cada página de su sitio web o en la cabecera top(si es que la tiene) ya que un robot puede encontrar un enlace interno en cualquier página de su web.
El atributo “NAME” debe ser” robots “.
Los valores permitidos para el ” CONTENT” son: “INDEX”, “NOINDEX”, “FOLLOW”,” NOFOLLOW”. Los valores multiples separados por comas están permitidos, pero obviamente sólo algunas combinaciones tienen sentido. Si no hay etiqueta <meta> robots, el valor predeterminado es “INDEX,FOLLOW”.

 

facebook Robots <META>twitter Robots <META>google Robots <META>diggit Robots <META>pinterest Robots <META>linkedin Robots <META>print Robots <META>email Robots <META>Si te gusto, comparte el articulo.

Artículos Relacionados

Agregar comentario


*

Recibe nuestro newsletter

Suscribete a nuestro newsletter y mantente informado con nuestros últimos artículos, noticias y más. Todo completamente gratis.