Archiwa tagu: robots.txt
FAQ: Jak zablokować dostęp robotom do konkretnych podstron ?
Do ustawiania „noindex” dla konkretnych podstron naszego katalogu służy plik robots.txt który powinniśmy stworzyć w głównym folderze ze skryptem.
Poniżej przykładowy plik z jednego SEOKatalogu:
User-agent: * Disallow: /szukaj/* Disallow: /dodaj-strone Disallow: /admin* Disallow: /regulamin Disallow: /jak-dodac-wpis Disallow: /polityka-prywatnosci Disallow: /kontakt Disallow: /?action=premium* Disallow: /?action=report* Disallow: /?click=* User-agent: Mediapartners-Google Allow: /
gdzie * informujemy że blokujemy wszystkie adresy podstron o dowolnej końcówce.
Opublikowano Instrukcja, Kwestie techniczne
Otagowano robots.txt
Możliwość komentowania FAQ: Jak zablokować dostęp robotom do konkretnych podstron ? została wyłączona