FAQ: Jak zablokować dostęp robotom do konkretnych podstron ?

Do ustawiania „noindex” dla konkretnych podstron naszego katalogu służy plik robots.txt który powinniśmy stworzyć w głównym folderze ze skryptem.

Poniżej przykładowy plik z jednego SEOKatalogu:

User-agent: *
Disallow: /szukaj/*
Disallow: /dodaj-strone
Disallow: /admin*
Disallow: /regulamin
Disallow: /jak-dodac-wpis
Disallow: /polityka-prywatnosci
Disallow: /kontakt
Disallow: /?action=premium*
Disallow: /?action=report*
Disallow: /?click=*

User-agent: Mediapartners-Google
Allow: /

gdzie * informujemy że blokujemy wszystkie adresy podstron o dowolnej końcówce.

Ten wpis został opublikowany w kategorii Instrukcja, Kwestie techniczne i oznaczony tagami . Dodaj zakładkę do bezpośredniego odnośnika.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *