Pregunta sobre el archivo Robots.txt

#Pregunta sobre el archivo Robots.txt

De: Javi

Pregunta:

No tengo archivo robots.txt en mi web, ¿Puede ocasionarme problemas de indexación de la web?

Si no tienes ningún archivo robots.txt subido a la raiz de tu dominio, todos los motores de búsqueda y otros bots podrán leer e indexar toda la página web.

Sin embargo, tal vez esto no es lo que deseas que ocurra o tal vez es algo que no te interesa que le ocurra a tu web.

Aunque no especificas qué tipo de CMS estás utilizando, imaginemos que usas wordpress, ¿OK?

Este CMS por defecto traerá una directiva de robots.txt muy simple, como la siguiente.

Mi recomendación es que edites este archivo de forma personalizada para tu página web.

La base es esta:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Un archivo robots.txt que funciona bastante bien y que puedes copiar es este:

User-agent: *
Disallow: /wp-admin/

User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
Allow: /wp-admin/admin-ajax.php

Disallow: /author/
Disallow: /wp-login.php
Disallow: /*/feed/
Disallow: */*feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: */trackback

Sitemap: https://tuweb.com/sitemap.xml

Más cosas sobre SEO On page aquí.

A tus seguidores les gustará:
  •  
  •  
  •  
  •  
  •  

Deja un comentario