Fisierul Robots.txt – Ce este si cum il folosesti

Fișierul robots.txt este un document text simplu, plasat în directorul rădăcină al unui site web, care indică roboților motoarelor de căutare ce pagini ale unui site să fie accesate sau nu.

Acesta utilizează un set de reguli cunoscut sub numele de protocol de excludere a roboților (robots exclusion protocol).

Fișierul robots.txt optimizează procesul de crawling al unui site-ului și previne indexarea conținutului nedorit, precum paginile de administrare, conturile utilizatorilor sau paginile duplicate.

Gestionarea corectă a acestui fișier poate preveni erori majore care ar putea duce la probleme SEO, cum ar fi blocarea accidentală a paginilor importante.

Motoarele de căutare precum Google, Bing sau Yahoo folosesc acest fișier pentru a determina ce secțiuni dintr-un site să acceseze și ce să ignore, asigurându-se că resursele esențiale sunt indexate corect și eficient.

Cum a apărut robots.txt

Fișierul robots.txt a apărut ca soluție în anii ’90, pe măsură ce motoarele de căutare deveneau mai sofisticate și crawlerele lor parcurgeau în mod automat paginile web pentru indexare. În 1994, Robots Exclusion Protocol (REP) a fost creat pentru a oferi webmasterilor un instrument prin care să controleze accesul roboților la anumite resurse de pe site.

De-a lungul timpului, acest protocol a evoluat, dar principiul de bază rămâne același: fișierul robots.txt este primul loc pe care îl verifică un crawler când accesează un site, urmând instrucțiunile definite de webmaster.

De ce este important fișierul robots.txt pentru SEO?

Fișierul robots.txt este important în SEO deoarece oferă control asupra modului în care motoarele de căutare indexează un site. Prin intermediul acestuia, poți să optimizezi resursele site-ului pentru crawlere, direcționându-le către paginile esențiale și evitând să pierzi „bugetul de crawling” pe pagini irelevante sau redundante.

1. Controlul resurselor accesate de crawlere: Poți specifica ce pagini sau fișiere să nu fie accesate de motoarele de căutare, protejând conținutul sensibil sau irelevant.
2. Prevenirea duplicării conținutului: Ajută la evitarea indexării paginilor duplicate sau a variantelor alternative ale aceleași pagini, cum ar fi cele cu parametri URL, ceea ce poate îmbunătăți scorul SEO.
3. Conservarea bugetului de crawling: Motoarele de căutare au un buget limitat de crawl pentru fiecare site, iar cu robots.txt poți direcționa acest buget către paginile esențiale pentru SEO, lăsând la o parte resursele irelevante sau care nu trebuie indexate.
4. Gestionarea resurselor mari: Site-urile mari, cu multe pagini și fișiere, pot deveni copleșitoare pentru crawlere. Prin utilizarea robots.txt, te asiguri că motoarele de căutare se concentrează pe ceea ce contează.

Cum arată un fișier robots.txt?

Fișierul robots.txt este format dintr-o serie de directive și reguli simple, care indică crawlerelor, roboții motoarelor de căutare ce resurse să acceseze sau să evite.

Fiecare fișier poate conține reguli pentru un singur robot sau pentru mai mulți, și include instrucțiuni de tip allow sau disallow pentru pagini sau directoare specifice.

Fișierul este plasat în rădăcina unui site și este accesibil prin adresa site.com/robots.txt.

Directivele unui fișier robots.txt

Un fișier robots.txt tipic ar putea arăta astfel:

User-agent: *

Disallow: /admin/

Allow: /blog/

Sitemap: http://www.exemplu.com/sitemap.xml

User-Agent

User-agent se referă la roboții motoarelor de căutare specifici pentru care sunt create regulile. De exemplu, dacă vrei să oferi instrucțiuni doar pentru Googlebot, vei folosi „Googlebot” ca user-agent. Dacă dorești ca toate motoarele de căutare să respecte aceleași reguli, se utilizează „*”.

Exemplu:

User-agent: Googlebot

Acest exemplu oferă reguli specifice pentru crawlerul Google.

Disallow

Disallow este directiva folosită pentru a bloca accesul la anumite pagini sau directoare ale site-ului. De exemplu, pentru a împiedica accesul la zona de administrare a site-ului, se utilizează:

Disallow: /admin/

Această regulă blochează accesul la orice pagină din folderul admin.

Allow

Allow este opusul directivei disallow și permite accesul la o anumită resursă. Această directivă este utilă atunci când dorești să permiti accesul la anumite părți ale unui director restricționat.

Exemplu:

Allow: /blog/

Aceasta permite crawlerilor să acceseze toate paginile din folderul /blog/.

Sitemap

Fișierul robots.txt poate include o referință la sitemap-ul site-ului, pentru a indica motoarelor de căutare structura site-ului și pentru a facilita procesul de indexare.

Exemplu:

Sitemap: https://www.exemplu.com/sitemap.xml

Această linie informează motoarele de căutare unde pot găsi sitemap-ul XML al site-ului.

Alte directive importante

1. Crawl-delay: Folosit pentru a indica o întârziere între accesările crawlerului pe paginile site-ului, reducând încărcarea serverului.

Exemplu:

Crawl-delay: 10

Aceasta înseamnă că crawlerul va aștepta 10 secunde între cereri.

2. Host: Specifică care dintre mai multe versiuni de domenii (ex. cu sau fără „www”) ar trebui preferată de motoarele de căutare.

Exemplu:

Host: www.exemplu.com

3. Clean-param: Directivă folosită de Google pentru a ajuta la gestionarea parametrilor URL, prevenind indexarea variantelor duplicate ale paginilor.

Exemplu:

Clean-param: param1

Pot fi folosite expresii regulate în reguli?

Fișierul robots.txt nu suportă expresii regulate complexe, dar se pot folosi caractere wildcard (*), pentru a reprezenta orice set de caractere.

Exemplu:

Disallow: /folder/*.php

Aceasta va bloca toate fișierele .php din folderul specificat.

Ordinea directivelor allow și disallow în fișierul robots.txt

Ordinea acestor directive este importantă, deoarece regulile allow și disallow sunt aplicate într-o secvență strictă. Crawlerul va verifica fiecare regulă în ordine și va aplica cea mai specifică.

Exemplu:

Disallow: /folder/

Allow: /folder/specific.html

Aceasta blochează accesul la tot conținutul din /folder/, dar permite accesul la fișierul specific.html.

Cum se creează și editează un fișier robots.txt?

Fișierul robots.txt este ușor de creat și configurat, fiind un simplu fișier text care poate fi personalizat pentru a corespunde nevoilor specifice ale site-ului. Următoarele subsecțiuni explică fiecare aspect al procesului:

Unde trebuie să fie plasat fișierul robots.txt pe site?

Fișierul robots.txt trebuie să fie plasat în directorul rădăcină al site-ului, astfel încât să fie accesibil direct prin URL-ul https://exemplu.ro/robots.txt. Aceasta este locația unde motoarele de căutare îl caută automat. Dacă fișierul nu este plasat corect, roboții nu îl vor putea accesa și vor interpreta că site-ul permite crawl complet.

Exemple:

1. Corect: https://exemplu.ro/robots.txt
2. Incorect: https://exemplu.ro/subfolder/robots.txt

Cu ce program creez fișierul robots.txt?

Fișierul robots.txt poate fi creat cu orice editor de text simplu. Cele mai comune opțiuni includ:

• Notepad (Windows)
• TextEdit (macOS) – setează să salveze ca text simplu, nu RTF.
• Visual Studio Code sau Sublime Text, dacă preferi un editor avansat.

Pași:

1. Creează un document nou și salvează-l cu extensia .txt.
2. Adaugă directivele necesare (exemple: User-agent, Disallow).
3. Salvează fișierul sub numele robots.txt.

Exemple de fișiere Robots.txt

1. Blocare completă a accesului pentru toți roboții:

User-agent: *

Disallow: /

2. Permite accesul la întregul site:

User-agent: *

Disallow:

3. Blocare specifică pentru un director:

User-agent: *

Disallow: /admin/

4. Setări pentru un anumit robot (Googlebot):

User-agent: Googlebot

Disallow: /test/

Cum configurezi un fișier robots.txt pentru un magazin online (ex. Magento)?

Configurarea unui fișier robots.txt pentru un magazin online necesită atenție specială pentru a evita indexarea conținutului duplicat sau a paginilor irelevante.

Restricționare cont user & pagini de checkout

Blocarea paginilor de login și checkout este esențială:

User-agent: *

Disallow: /customer/

Disallow: /checkout/

Disallow: /cart/

Restricționare pagini de căutare și URL-uri de filtre

Paginile generate de filtre sau de căutare pot crea duplicate:

User-agent: *

Disallow: /catalogsearch/

Disallow: /filter/

Restricționare directoare CMS

Dacă magazinul online utilizează un CMS, anumite directoare pot fi inutile pentru indexare:

User-agent: *

Disallow: /cms/

Disallow: /tmp/

Ce roboți iau în considerare fișierul robots.txt?

Fișierul robots.txt este utilizat de majoritatea roboților motoarelor de căutare pentru a stabili ce părți dintr-un site pot fi accesate și indexate. În mod normal, roboții de căutare respectabili, cum ar fi cei de la Google, Bing sau Yahoo, respectă instrucțiunile definite în acest fișier.

Totuși, există și roboți care nu respectă aceste directive, mai ales cei folosiți în scopuri malițioase, care ignoră instrucțiunile din robots.txt.

Iată câțiva dintre cei mai importanți roboți care utilizează acest fișier.

1. Googlebot: Este robotul principal utilizat de Google pentru a accesa și indexa paginile web. De asemenea, există și variante ale acestui robot pentru diferite scopuri, cum ar fi Googlebot-Image (pentru imagini) sau Googlebot-Video (pentru conținut video).
   • User-agent: Googlebot
2. Bingbot: Bing, motorul de căutare de la Microsoft, folosește acest bot pentru a naviga și indexa site-uri. Similar cu Googlebot, Bingbot poate avea variante specializate, cum ar fi cele pentru imagini.
   • User-agent: Bingbot
3. Yahoo Slurp: Este robotul folosit de Yahoo pentru a accesa și indexa paginile web. Deși Yahoo folosește în prezent infrastructura Bing pentru căutare, acest bot este încă activ.
   • User-agent: Slurp
4. Baidu Spider: Acesta este crawler-ul principal folosit de motorul de căutare Baidu, cel mai popular în China.
   • User-agent: Baiduspider
5. Yandex Bot: Yandex, motorul de căutare dominant în Rusia, folosește acest bot pentru a accesa și indexa paginile web.
   • User-agent: Yandex
6. DuckDuckBot: Acesta este robotul utilizat de motorul de căutare DuckDuckGo, cunoscut pentru accentul pus pe confidențialitatea utilizatorilor.
   • User-agent: DuckDuckBot
7. Sogou Spider: Motorul de căutare Sogou, popular în China, utilizează acest bot pentru crawling și indexare.
   • User-agent: Sogou Spider
8. Exabot: Este robotul motorului de căutare Exalead, utilizat mai ales în Europa.
   • User-agent: Exabot

Acești roboți respectă, de regulă, directivele din fișierul robots.txt, însă este important să menționăm că există și alți roboți, mai puțin cunoscuți sau chiar malițioși, care pot ignora aceste reguli.

Ce se întâmplă dacă nu am un fișier robots.txt?

Dacă un site nu are un fișier robots.txt, motoarele de căutare vor presupune că toate paginile și resursele sunt disponibile pentru crawling. Acest lucru poate avea mai multe consecințe:

• Crawling-ul poate include pagini și resurse care nu ar trebui indexate, cum ar fi pagini de administrare, pagini nefinalizate sau duplicate.
• Site-ul poate pierde eficiența în indexare, deoarece crawlerii ar putea accesa resurse inutile sau mai puțin relevante, ceea ce reduce atenția acordată paginilor importante.

Cum afli dacă fișierul robots.txt blochează pagini importante?

Pentru a evita problemele de indexare sau excluderea accidentală a unor pagini critice, este esențial să verifici dacă fișierul robots.txt blochează paginile care trebuie accesibile motoarelor de căutare.

Verificarea și testarea fișierului robots.txt

Motoarele de căutare, precum Google, oferă instrumente pentru testarea configurației fișierului robots.txt și pentru identificarea potențialelor probleme.

1. Google Search Console – Tool pentru robots.txt:
   • Accesează contul Google Search Console.
   • Navighează la secțiunea Testul pentru robots.txt.
   • Introdu URL-urile pe care vrei să le verifici pentru a vedea dacă sunt blocate de fișierul robots.txt.
   • Google va afișa rezultatele sub formă de mesaj („Allowed” sau „Blocked”) și va indica directiva care blochează accesul.
2. Unelte online pentru testare:
   • Există multiple unelte precum Robots.txt Checker de la SEOptimer.
3. Revizuirea manuală: Deschide fișierul și verifică directivele Disallow și Allow. Verifică dacă toate directoarele și URL-urile specificate sunt cele corecte.
4. Verifică regulile wildcard: Dacă folosești wildcard-uri (* sau $), testează dacă funcționează așa cum intenționezi.

Semne că fișierul robots.txt blochează pagini importante:

• Paginile cheie nu apar în rezultatele motoarelor de căutare.
• Rapoartele din Google Search Console indică excluderi neașteptate.
• Crawl budget-ul este consumat pe pagini irelevante.

De asemenea, verificarea periodică a fișierului robots.txt ajută la menținerea unei strategii SEO puternice.

Poate Google să indexeze o pagină chiar dacă este blocată în robots.txt?

Un mit comun este că blocarea unei pagini în robots.txt garantează că aceasta nu va fi indexată. Realitatea este însă mai nuanțată: motoarele de căutare pot indexa uneori pagini chiar dacă fișierul robots.txt blochează accesul la ele.

Este suficientă blocarea unei pagini în robots.txt?

Nu. Directivele din robots.txt spun motoarelor de căutare să nu acceseze conținutul unei pagini, dar nu le interzic să o indexeze dacă descoperă informații despre acea pagină din alte surse, cum ar fi:

• Link-uri externe către pagina respectivă.
• Sitemap-uri publice.
• Date structurate sau meta informații asociate paginii.

Exemplu:

• Dacă blochezi /pagina-secreta.html în robots.txt, dar există multe link-uri către ea, Google poate indexa URL-ul fără a vedea conținutul său.

Ce altceva în afară de fișierul robots.txt influențează indexarea paginilor?

Pentru a controla complet indexarea, trebuie să utilizezi și alte metode:

1. Meta tag-ul noindex: Dacă ai acces la conținutul paginii, adaugă următoarea directivă în secțiunea <head>:

<meta name="robots" content="noindex">

Aceasta spune motoarelor de căutare să nu indexeze pagina, chiar dacă acestea au acces la ea.

2. Utilizarea X-Robots-Tag în header-ul HTTP: Pentru fișiere care nu pot avea meta tag-uri (ex.: imagini, PDF-uri), poți seta header-ul HTTP:

X-Robots-Tag: noindex

3. Blocarea în sitemap: Eliminarea URL-urilor nedorite din sitemap împiedică motoarele de căutare să le găsească ușor.
4. Protecție prin autentificare sau IP: Paginile care necesită autentificare sau sunt accesibile doar de pe anumite adrese IP nu vor fi indexate.

Motoarele de căutare pot avea un comportament diferit în funcție de configurațiile site-ului, iar o strategie bine pusă la punct asigură că doar paginile relevante sunt indexate.

Erori comune în fișierul robots.txt și consecințele acestora

Un fișier robots.txt configurat greșit poate afecta negativ performanța SEO, ducând chiar până la excluderea accidentală a unor pagini importante din index.

Dimensiunea fișierului robots.txt

Fișierul robots.txt ar trebui să fie simplu și concis. Motoarele de căutare preferă fișierele mai mici pentru a minimiza consumul de resurse. Dacă fișierul este prea mare sau complex, pot apărea probleme:

• Roboții ar putea ignora unele directive.
• Timpii de crawl pot crește, afectând bugetul de crawl.

Recomandări:

1. Evită utilizarea excesivă a wildcard-urilor și regulilor repetitive.
2. Elimină comentariile inutile sau liniile irelevante.
3. Asigură-te că fișierul nu depășește câteva KB.

Exemplu de greșeli frecvente și cum să le eviți

1. Blocarea întregului site accidental: O greșeală comună este utilizarea directivei greșite pentru a bloca toate paginile:

User-agent: *

Disallow: /

2. Permisiuni contradictorii: Directivele Allow și Disallow pot intra în conflict, lăsând motoarele de căutare să decidă singure.

Exemplu greșit:

User-agent:

Disallow: /blog/

Allow: /blog/articol.html

3. Ignorarea wildcard-urilor și a simbolurilor $: Roboții interpretează wildcard-urile (* și $) într-un mod specific. Utilizarea greșită poate duce la blocări neașteptate:

Exemplu greșit:

User-agent: *

Disallow: /imagini/*.jpg$

Acest lucru poate bloca toate imaginile, nu doar cele din directorul /imagini/.

4. Adăugarea directivei noindex în robots.txt: Motoarele de căutare ignoră directiva noindex în fișierul robots.txt, deși unele documentații vechi sugerează contrariul. Corect: Utilizează meta tag-ul noindex sau X-Robots-Tag în locul robots.txt pentru a preveni indexarea.
5. Fișier robots.txt inexistent sau inaccesibil: Dacă fișierul lipsește, motoarele de căutare presupun că toate paginile sunt accesibile. În cazul unui magazin online, acest lucru poate include pagini sensibile.

Utilizări greșite ale fișierului robots.txt

Deși fișierul robots.txt este util, dacă acesta este utilizat greșit poate duce la probleme care pot afecta negativ SEO:

1. Limitarea indexării resurselor esențiale: Blocarea accesului la fișiere importante, cum ar fi CSS sau JavaScript, poate împiedica motoarele de căutare să înțeleagă corect structura și funcționalitatea site-ului, ceea ce poate duce la o evaluare incorectă a conținutului.
2. Nu este o soluție de securitate: Deși robots.txt blochează crawling-ul anumitor pagini, acestea sunt în continuare accesibile direct dacă cineva cunoaște URL-ul. Așadar, nu trebuie folosit ca o metodă de protecție a datelor confidențiale.
3. Ignorarea de către unii roboți: Există roboți care nu respectă directivele din robots.txt, în special cei folosiți în scopuri malițioase, ceea ce înseamnă că fișierul nu poate preveni accesul complet la resurse.

Consecințe ale erorilor din robots.txt

• Pierdere de trafic organic – blocarea accidentală a paginilor importante poate afecta indexarea lor și poziționarea în SERP.
• Consum ineficient al bugetului de crawl – roboții pot pierde timp pe pagini irelevante, în detrimentul celor esențiale.
• Expunerea informațiilor sensibile – neutilizarea corectă a fișierului robots.txt poate lăsa expuse URL-uri cu informații confidențiale.

Concluzie

Fișierul robots.txt este un instrument esențial în optimizarea SEO, dar utilizarea sa incorectă poate avea consecințe negative asupra performanței unui site. Pentru a maximiza eficiența și a evita erorile, este important să urmezi bunele practici și să implementezi un proces de verificare regulată.

Un fișier robots.txt bine configurat contribuie la o strategie SEO eficientă prin:

• Gestionarea corectă a bugetului de crawl,
• Protejarea paginilor sensibile sau irelevante pentru indexare,
• Îmbunătățirea experienței motoarelor de căutare pe site-ul tău.

Ca agenție de servicii SEO profesionale, ne ocupăm de optimizarea SEO on-page a site-ului tău: de la configurarea fișierului robots.txt și crearea sitemap-urilor, până la optimizarea vitezei de încărcare a site-ului și asigurarea unei experiențe excelente pentru utilizatori.

Prin acest mod, alături de o strategie concretă de SEO, creștem vizibilitatea site-ului tău în Google! Contactează-ne acum pentru a discuta despre promovarea site-ul tău!