Robots txt - Què és i com optimizar-lo

Robots.txt: Què és i Com Optimitzar-lo per a la teva Web

Què és Robots.txt?

El fitxer robots.txt és un fitxer de text que indica als motors de cerca quines pàgines o seccions d’un lloc web poden rastrejar i quines han d’evitar. És una part essencial del protocol d’exclusió de robots i ajuda a optimitzar la indexació del teu lloc web, evitant que contingut innecessari o privat sigui accedit pels bots dels cercadors.

Per què serveix el fitxer Robots.txt?

El robots.txt és fonamental per a la gestió del SEO i la seguretat d’un lloc web. Els seus principals usos inclouen:

  • Controlar l’accés dels motors de cerca: Pots restringir parts del lloc que no voleu que siguin indexades.
  • Optimitzar el rastreig dels bots: Evita que els motors de cerca gastin recursos en contingut irrellevant.
  • Protegir informació sensible: Encara que no és una mesura de seguretat definitiva, ajuda a evitar la indexació de fitxers privats.
  • Indica la ubicació del Sitemap: Ajuda els motors de cerca a trobar més ràpidament els URL importants.

On es troba el fitxer Robots.txt

El fitxer robots.txt ha d’estar ubicat a l’arrel del domini del teu lloc web. Per exemple:

https://www.elteudomini.com/robots.txt

Si intentes accedir a aquesta URL i el fitxer existeix, podràs veure’l al teu navegador.

Com crear un fitxer Robots.txt

Si el teu lloc web no té un robots.txt, pots crear-lo manualment amb qualsevol editor de text com ara Notepad, Visual Studio Code o l’editor integrat a cPanel. Després, només cal que el pugis a la carpeta arrel del teu servidor.

Estructura bàsica d’un fitxer Robots.txt

Un robots.txt bàsic sol incloure regles per permetre o bloquejar l’accés a certes parts del lloc. La seva estructura és la següent:

User-agent: *
Disallow: /privat/
Allow: /public/
Sitemap: https://www.elteudomini.com/sitemap.xml
  • User-agent: Especifica quins bots afecten les regles. L’asterisc (*) indica que la regla s’aplica a tots els motors de cerca.
  • Disallow: Bloqueja l’accés a directoris o fitxers específics.
  • Allow: Permet accedir a certes parts del lloc.
  • Sitemap: Indica la ubicació del sitemap.xml per millorar la indexació.

Exemples de Configuració de Robots.txt

Bloquejar l’accés a tot el lloc

User-agent: *
Disallow: /

Aquest fitxer evita que qualsevol motor de cerca indexi el lloc web.

Permetre l’accés complet a tot el lloc

User-agent: *
Disallow:

Els bots poden rastrejar totes les pàgines del lloc.

Bloquejar un Directori Específic

User-agent: *
Disallow: /admin/

Impedeix que els motors de cerca accedeixin al directori /admin/.

Bloquejar un Fitxer Específic

User-agent: *
Disallow: /secret.html

Evita que s’indexi el fitxer secret.html.

Bloquejar un User-Agent Específic

User-agent: Googlebot
Disallow: /

Impedeix que Googlebot rastregi el lloc, però permet accedir a altres motors de cerca.

Com Optimitzar Robots.txt a WordPress

Si utilitzes WordPress, pots gestionar i optimitzar el fitxer robots.txt de diverses maneres:

1. Editar Robots.txt des de WordPress

Alguns plugins de SEO permeten modificar el fitxer directament des del panell dadministració de WordPress. Un dels més recomanats és Yoast SEO. Per editar-ho:

  1. Instal·la i activa el plugin Yoast SEO.
  2. Vés a SEO > Eines.
  3. Selecciona Editor de fitxers.
  4. Modifica el fitxer robots.txt segons les teves necessitats i desa els canvis.

2. Usar Plugins per Generar un Robots.txt Òptim

Altres connectors útils per gestionar robots.txt a WordPress són:

  • Rank Math SEO: Ofereix opcions avançades per configurar el robots.txt.
  • All in One SEO Pack: Permet modificar el fitxer sense accedir al servidor.

3. Edita l’arxiu Robots.txt Manualment

Si prefereixes modificar-ho directament al servidor:

  1. Accedeix al teu servidor via FTP o cPanel.
  2. Ubica el fitxer robots.txt a l’arrel del lloc.
  3. Descarrega’l, edita’l amb un editor de text i puja’l novament.

4. Configuració Recomanada per a WordPress

Un fitxer robots.txt optimitzat per a WordPress es pot veure així:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Sitemap: https://www.elteudomini.com/sitemap_index.xml
  • Disallow: /wp-admin/: Evita que els bots accedeixin al panell d’administració.
  • Allow: /wp-admin/admin-ajax.php: Permet l’accés a AJAX per al funcionament correcte del lloc.
  • Disallow: /wp-includes/: Bloqueja fitxers interns de WordPress.
  • Disallow: /wp-content/plugins/ i /wp-content/themes/: Evita que els bots rastregin fitxers de plugins i temes.
  • Disallow: /?s=: Evita la indexació de les cerques internes de WordPress.
  • Sitemap: Indica l’URL del mapa del sitemap XML per millorar la indexació.

Comprovació i Validació de l’Arxiu Robots.txt

Per assegurar-te que funciona correctament, pots utilitzar eines com:

Bones Pràctiques a l’Usar Robots.txt

Per garantir que el robots.txt sigui efectiu, segueix aquestes recomanacions:

  1. Evita bloquejar CSS i JavaScript: Google necessita aquests fitxers per renderitzar correctament la web.
  2. No utilitzis Robots.txt per amagar informació sensible: És millor protegir pàgines amb contrasenyes o configuracions al servidor.
  3. No abusis del Disallow: Bloquejar massa pàgines pot afectar el SEO.
  4. Fes servir la directiva Sitemap: Facilita la indexació de les URLs importants.
  5. Revisa periòdicament el teu fitxer: Google canvia els seus algoritmes, i el que avui funciona pot quedar obsolet.

Conclusió

El fitxer robots.txt és una eina poderosa per gestionar el rastreig dels motors de cerca al teu lloc web. Una configuració adequada ajuda a millorar el SEO i l’eficiència del rastreig dels bots, assegurant que només el contingut rellevant sigui indexat. A ALHOSTINGS, podem ajudar-te a optimitzar el teu robots.txt i millorar la teva estratègia de SEO. Contacta’m!

Tags: , , ,

Expert en WordPress, Optimització SEO i Experiència d'Usuari (UX) | Ajudo autònoms i PIMEs a créixer el seu negoci. | Especialista en Disseny i Desenvolupament Web per a Startups, PIMEs i Projectes Personals

Ves al contingut