#Pregunta sobre el archivo Robots.txt
De: Javi
Pregunta:
No tengo archivo robots.txt en mi web, ¿Puede ocasionarme problemas de indexación de la web?
Si no tienes ningún archivo robots.txt subido a la raiz de tu dominio, todos los motores de búsqueda y otros bots podrán leer e indexar toda la página web.
Sin embargo, tal vez esto no es lo que deseas que ocurra o tal vez es algo que no te interesa que le ocurra a tu web.
Aunque no especificas qué tipo de CMS estás utilizando, imaginemos que usas wordpress, ¿OK?
Este CMS por defecto traerá una directiva de robots.txt muy simple, como la siguiente.
Mi recomendación es que edites este archivo de forma personalizada para tu página web.
La base es esta:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Un archivo robots.txt que funciona bastante bien y que puedes copiar es este:
User-agent: *
Disallow: /wp-admin/
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
Allow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /wp-login.php
Disallow: /*/feed/
Disallow: */*feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: */trackback
Sitemap: https://tuweb.com/sitemap.xml
Más cosas sobre SEO On page aquí. Y además puedes ver aquí algunos consejos interesantes sobre la optimización de imágenes.
Acerca del autor
SEO Mánager en ginesmayol.com . Ayudo a empresas y marcas a posicionarse en Google. Presidente de la Asociación de MKT Digital de la Región de Murcia. Creo estrategias de Adquisición de tráfico para empresas y marcas nuevas. Hago deporte a diario y me gusta todo lo relacionado con el medio ambiente y el estilo de vida sencillo y saludable.
