O singură linie greșită în robots.txt te poate scoate din Google

Fișierul e public și îl poate citi oricine, nu doar Google, deci nu e locul unde ascunzi pagini private. Pentru asta ai nevoie de autentificare reală, cu parolă și login. Conține grupuri de reguli, fiecare grup începe cu o linie „User-agent”, care spune cărui robot i se aplică regulile de dedesubt (de exemplu „*” înseamnă toate motoarele de căutare), urmată de linii „Disallow” (blochează o cale) sau „Allow” (permite explicit o cale, utilă în special ca excepție dintr-un Disallow mai general).

Vrei să vezi dacă al tău are probleme? Folosește unealta de mai sus, verifică site-ul direct sau lipește textul dacă lucrezi local, înainte să publici.

Cele mai frecvente trei greșeli, în ordinea gravității: prima e blocarea întregului site cu „Disallow: /” sub „User-agent: *”, care scoate din Google absolut tot ce ai publicat. A doua e blocarea unei secțiuni întregi din greșeală, de exemplu „/blog” sau „/produse”, când intenția era să blochezi doar o pagină. A treia, mai subtilă, e blocarea fișierelor CSS și JavaScript: Google are nevoie să încarce aceste resurse ca să vadă pagina exact cum o vede și un vizitator, iar dacă le blochezi riști ca randarea să iasă stricată în ochii lui, chiar dacă pagina arată bine în browser.

Toate trei se întâmplă din același motiv: o linie copiată dintr-un alt site, un plugin care generează reguli implicite prea agresive sau o modificare manuală neverificată înainte de publicare.

E cea mai des întâlnită confuzie legată de robots.txt: robots.txt oprește citirea unei pagini, noindex oprește afișarea ei în rezultate. Sunt două comenzi diferite, cu efecte diferite, și combinate greșit se anulează una pe cealaltă.

Dacă blochezi o pagină în robots.txt, iar pe acea pagină ai și un tag noindex în cod, Google nu va vedea niciodată noindex-ul, pentru că nu are voie să citească pagina ca să ajungă la el. Rezultatul practic e opusul a ceea ce voiai: dacă pagina are linkuri către ea, Google poate afișa totuși URL-ul în căutări (fără titlu, fără descriere), exact situația pe care noindex ar fi trebuit s-o evite.

Regula simplă: dacă vrei ca o pagină să nu apară deloc în Google, folosește noindex și lasă robots.txt s-o citească. Robots.txt îl rezervi pentru pagini pe care nu vrei nici măcar să le parcurgă crawlerul, de obicei din motive de eficiență (zone administrative, filtre cu mii de combinații, coșuri de cumpărături), nu din motive de vizibilitate.