Google oprește oficial suportul pentru regulile noindex din robots.txt

Google oprește oficial suportul pentru regulile noindex din robots.txt

Setul de reguli noindex din robots.txt a fost pentru o bună perioadă de timp artificiul la care administratorii de site apelau atunci când voiau să direcționeze indexarea conținutului online.

Pe scurt, cu ajutorul directivelor crawl-delay, noindex și nofollow spunem ce, când și cum să fie indexat din întreg conținutul unui website. O practică la îndemâna oricui și o soluție rapidă pentru aplicarea unor strategii de optimizare SEO off-page.

Vezi care sunt practicile SEO off-page recomandate în 2019.

Pare complicat, dar nu este. Aceste reguli se scriu în fișierul robots.txt, cel care este accesat de Google atunci când este analizat site-ul tău.

google search console pentru wordpress

Crawl-delay, noindex și nofollow îi spun motorului de căutare care sunt paginile care vor fi afișate în rezultatele Google. Sau mai bine zis, îi spun algoritmului de căutare ce să nu considere atunci când indexează pagini și link-uri dintr-un site.

După cum am spus, o practică destul de intuitivă prin care se controlează indexarea conținutului online.

Dar, începând cu 1 septembrie 2019 toate acestea se vor schimba.

Nu uita nici de schimbările publicate de Google pentru algoritmii Page Quality Rating.

Google schimbă politica de interpretare a setului de reguli noindex din robots.txt

Ei bine, da. Ceea ce era așteptat de câțiva ani se va întâmpla în toamna aceasta.

Google tocmai a anunțat oficial că renunță la suportul pentru regulile noindex prezente în fișierele robots.txt.

reguli noindex robots

Oricum, Google nu a oferit niciodată un suport oficial pentru aceste reguli, însă până anul acesta a ținut cont de ele. Link-urile din sitemap care purtau în fișierul robots.txt directivele crawl-delay, noindex și nofollow erau excluse din indexare. Cel puțin în cele mai multe cazuri.

Conform cu tweet-ul din imaginea de mai sus, toate regulile scrise în robots.txt trebuie rescrise începând cu 1 septembrie 2019.

Mai mult, dezvoltatorii Google au publicat un comunicat oficial care oferă detalii suplimentare. Poți accesa comunicatul Google aici.

Dar, de ce ar trebui să ne intereseze aceste schimbări? Pe scurt, pentru a păstra structura clară a site-ului și pentru a avea în continuare rezultate bune în poziționarea organică. Și dacă cunoști câte ceva despre SEO știi cu siguranță despre ce vorbesc.

Așadar, schimbă structura fișierului robots.txt până în septembrie și renunță la setul de reguli noindex din robots.txt.

Cum vei controla indexarea site-ului tău începând de anul acesta?

Stai liniștit, Google ne-a oferit deja toate soluțiile de care avem nevoie.

Reinterpretarea setului de reguli noindex din robots.txt

Vei putea comunica în continuare cu algoritmii de indexare controlați de Google. Însă, o vei face prin intermediul altor metode. Nu te îngrijora, nu va trebui să reinventezi roata. Toate aceste soluții există deja și pot fi oricând folosite pentru a exclude link-uri din indexarea organică.

strategii link building 2019

Iată o scurtă listă a serviciilor care te ajută în acest sens:

  • Specifici noul set de directive noindex în meta tagurile pentru roboții Google.
  • Folosești coduri specifice pentru indexarea paginilor: codurile HTTP 404 și 410 vor transmite motoarelor de căutare paginile care trebuie să iasă din procesul de indexare.
  • Protecție prin parolă: un conținut protejat prin sistem de log in cu parolă nu va fi indexat de Google.
  • Disallow în robots.txt: o pagină blocată prin directiva disallow nu va fi indexată de Google. O parte a conținutului poate fi însă văzut de motoarele de căutare atunci când este legat prin link-uri de alte pagini ale site-ului. Google promite însă că-și va îmbunătăți acest serviciu în curând.
  • Search Console: în consola de administrare a site-ului tău, denumită sugestiv Search Console, ai posibilitatea de a scoate un link din indexarea Google. Pe scurt, în Search Console poți folosi serviciul de blocare a adresei URL.

Află cum te poate ajuta Search Console să optimizezi site-ul tău WordPress.

Când să ai grijă de managementul link-urilor site-ului tău

Structura unui site este cuprinsă în sitemap. Acesta este inclus în fișierul robots.txt, unde îi spunem motorului de căutare dacă indexarea este permisă, sau nu. Google va accesa fișierul robots.txt, va interpreta regulile pe care le-am setat și mai apoi va parcurge sitemap-ul. Acesta este procesul, explicat pe scurt, prin care un site este analizat.

Un link stricat, sau o pagină care nu există generează erori de indexare. Nerezolvate, acestea pot determina penalizări ale site-ului.

În plus, pot exista pagini cu conținut pe care nu îl vrei public – spre exemplu, conținut duplicat. Acest conținut, de regulă, influențează și el poziționarea organică a site-ului. Așadar, o să vrei să gestionezi bine atât structura unui sitemap, dar și URL-urile care urmează să fie indexate de Google.

Și, începând din septembrie modul prin care faci aceste lucruri se schimbă. Aplică modificările menționate mai sus din timp pentru a preveni penalizări ulterioare.

Nu uita să urmezi cele mai bune practici SEO on și off page și furnizează doar conținut de calitate.

Urmărește mereu rapoartele Search Console și Google Analytics. De acolo vei obține informații despre erorile de indexare și despre managementul link-urilor din sitemap. Evident, plecând de la aceste rapoarte va trebui să acționezi. Fii mereu cu un pas înaintea problemelor și asigură cea mai bună experiență pentru utilizatorul final.

Despre Autor
Ninel Decu
Am 15 ani experienta in marketing si vanzari de servicii. Scriu despre marketing online, WordPress, cum sa pornesti o afacere de la zero. Sunt cofondator al firmei ServHost specializata in servicii de hosting pentru platforma WordPress cat si realizarea de bloguri, site-uri si magazine online pe aceasta platforma. Am fost implicat in peste 400 de proiecte care au pornit de la zero sau pe care le-am ajutat sa creasca de la un anumit nivel.

Lasă un comentariu

shares