Archiwa tagu: robots.txt

FAQ: Jak zablokować dostęp robotom do konkretnych podstron ?

Do ustawiania „noindex” dla konkretnych podstron naszego katalogu służy plik robots.txt który powinniśmy stworzyć w głównym folderze ze skryptem.

Poniżej przykładowy plik z jednego SEOKatalogu:

User-agent: *
Disallow: /szukaj/*
Disallow: /dodaj-strone
Disallow: /admin*
Disallow: /regulamin
Disallow: /jak-dodac-wpis
Disallow: /polityka-prywatnosci
Disallow: /kontakt
Disallow: /?action=premium*
Disallow: /?action=report*
Disallow: /?click=*

User-agent: Mediapartners-Google
Allow: /

gdzie * informujemy że blokujemy wszystkie adresy podstron o dowolnej końcówce.

Opublikowano Instrukcja, Kwestie techniczne | Otagowano | Skomentuj