Skip to main content
Dudas SEO

Pregunta sobre el archivo Robots.txt

Por enero 31, 2019abril 12th, 2021No hay comentarios
Pregunta sobre el archivo Robots.txt

#Pregunta sobre el archivo Robots.txt

De: Javi

Pregunta:

No tengo archivo robots.txt en mi web, ¿Puede ocasionarme problemas de indexación de la web?

Si no tienes ningún archivo robots.txt subido a la raiz de tu dominio, todos los motores de búsqueda y otros bots podrán leer e indexar toda la página web.

Sin embargo, tal vez esto no es lo que deseas que ocurra o tal vez es algo que no te interesa que le ocurra a tu web.

Aunque no especificas qué tipo de CMS estás utilizando, imaginemos que usas wordpress, ¿OK?

Este CMS por defecto traerá una directiva de robots.txt muy simple, como la siguiente.

Mi recomendación es que edites este archivo de forma personalizada para tu página web.

La base es esta:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Un archivo robots.txt que funciona bastante bien y que puedes copiar es este:

User-agent: *
Disallow: /wp-admin/

User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
Allow: /wp-admin/admin-ajax.php

Disallow: /author/
Disallow: /wp-login.php
Disallow: /*/feed/
Disallow: */*feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: */trackback

Sitemap: https://tuweb.com/sitemap.xml

Más cosas sobre SEO On page aquí. Y además puedes ver aquí algunos consejos interesantes sobre la optimización de imágenes.

Acerca del autor

SEO Mánager en ginesmayol.com . Ayudo a empresas y marcas a posicionarse en Google. Presidente de la Asociación de MKT Digital de la Región de Murcia. Creo estrategias de Adquisición de tráfico para empresas y marcas nuevas. Hago deporte a diario y me gusta todo lo relacionado con el medio ambiente y el estilo de vida sencillo y saludable.

Deja una respuesta