Bez kategorii

Szybka odpowiedź - 7 metod blokowania stron wyników wyszukiwania

• Blokada w robots.txt - najlepsza do szybkiego zatrzymania crawlowania. Odciąża crawl budget bez ingerencji w kod strony.
• Meta robots noindex - najlepsza do usuwania już zaindeksowanych stron. Google usuwa adresy z indeksu, a jednocześnie może podążać za linkami.
• Kanonikalizacja do strony kategorii - najlepsza dla sklepów z nawigacją fasetową. Konsoliduje sygnały rankingowe na stronach nadrzędnych.
• Kontrola parametrów URL - dla dużych serwisów z setkami parametrów. Uwaga: narzędzie „Parametry URL” w Google Search Console zostało wycofane w 2022 roku, więc dziś parametry kontroluje się robots.txt, noindex i linkowaniem.
• Reguły w .htaccess lub nginx - najlepsze, gdy masz dostęp do serwera, ale nie do CMS. Blokują ruch, zanim dotrze do aplikacji.
• Atrybut rel=”nofollow” na linkach do wyszukiwarki - dobry dodatek do innych metod. Ogranicza przepływ autorytetu do stron wyników.
• Uporządkowana paginacja - najlepsza dla długich list wyników. Ułatwia robotom zrozumienie struktury serwisu.

Jak oceniliśmy metody

Artykuł opiera się na dokumentacji Google Search Central oraz na naszych wdrożeniach technicznego SEO w sklepach i serwisach firmowych. Każdą metodę oceniamy według czterech kryteriów: skuteczność w oszczędzaniu crawl budget, czas wdrożenia, ryzyko błędów i łatwość utrzymania w dużej skali. Autor: zespół techniczny helpguru.eu.

Tabela porównawcza metod

Szczegółowe omówienie każdej metody

Blokada w pliku robots.txt

Plik robots.txt to pierwsza linia obrony. Googlebot czyta go przed pobraniem jakiejkolwiek strony. Aby zablokować crawlowanie stron wyników wyszukiwania, dodaj reguły:

User-agent: *
Disallow: /search?
Disallow: /szukaj?
Disallow: /*?s=
Disallow: /*?q=
Disallow: /*?search=

Wybierz, jeśli chcesz od razu zatrzymać crawlowanie nowych stron wyników i masz dostęp do pliku robots.txt. Unikaj, jeśli strony są już zaindeksowane: robots.txt ich nie usunie, a nawet utrudni usuwanie, bo Google nie zobaczy znacznika noindex na zablokowanej stronie.

Ograniczenia: część botów ignoruje robots.txt. Google może zaindeksować sam adres bez treści, jeśli zobaczy go w linkach. Reguły muszą być precyzyjne, bo zbyt szerokie Disallow zablokuje wartościowe strony.

Meta robots noindex - usuwanie z indeksu

Znacznik <meta name="robots" content="noindex, follow"> w sekcji head strony wyników mówi Google: „nie indeksuj, ale podążaj za linkami”. Wartość follow jest ważna, bo pozwala przekazywać sygnały do produktów i kategorii linkowanych z wyników.

Wybierz, jeśli strony wyników są już w indeksie i chcesz je usunąć. Unikaj, jeśli nie możesz edytować szablonu strony wyników (np. zamknięty CMS bez hooków).

Ograniczenia: Google musi ponownie odwiedzić każdą stronę, żeby zobaczyć znacznik. Przy tysiącach adresów trwa to tygodnie. Jeśli jednocześnie zablokujesz te adresy w robots.txt, Google nie zobaczy noindex.

Kanonikalizacja do stron kategorii

W sklepach z nawigacją fasetową (filtry: kolor, rozmiar, cena) każda kombinacja filtrów tworzy osobny adres URL. Kanonikalizacja wskazuje wersję kanoniczną, zwykle stronę kategorii bez parametrów:

<link rel="canonical" href="https://sklep.pl/kategoria/buty-biegowe/" />

Wybierz, jeśli masz nawigację fasetową i chcesz skupić sygnały rankingowe na stronach nadrzędnych. Unikaj, jeśli strony wyników wyszukiwania nie odpowiadają żadnej kategorii (np. zapytania z długiego ogona).

Ograniczenia: to sygnał, a nie dyrektywa. Google może pominąć wskazany adres kanoniczny, jeśli uzna stronę z parametrami za bardziej przydatną. Kanonikalizacja nie blokuje crawlowania.

Kontrola parametrów URL

Dawniej w Google Search Console można było określić, jak Googlebot ma traktować konkretne parametry. Google wycofało to narzędzie w 2022 roku i dziś samo ocenia parametry. W praktyce parametry wyszukiwania (q, s, search, query) kontrolujesz trzema sposobami: regułami w robots.txt, znacznikiem noindex na stronach wyników i niepodawaniem takich adresów w mapie strony oraz w linkach wewnętrznych.

Wybierz, jeśli masz setki parametrów URL i chcesz uporządkować je bez przebudowy całego serwisu. Pamiętaj, że inne wyszukiwarki (Bing, Seznam) mają własne narzędzia dla webmasterów, ale robots.txt i noindex działają we wszystkich.

Ograniczenia: bez osobnego narzędzia w GSC efekt zależy od tego, jak konsekwentnie wdrożysz pozostałe metody. Zmiany widać zwykle po kilku tygodniach.

Blokada na poziomie serwera (.htaccess, nginx)

Dla Apache (plik .htaccess):

RewriteCond %{QUERY_STRING} (^|&)(s|q|search|query)=
RewriteRule ^ - [F,L]

Dla nginx (w bloku server lub location):

if ($args ~* "(^|&)(s|q|search|query)=") {
    return 403;
}

Wybierz, jeśli nie masz dostępu do CMS ani robots.txt, tylko do serwera. Unikaj, jeśli nie masz doświadczenia w konfiguracji serwera, bo błąd w regule może zablokować cały serwis.

Ograniczenia: serwer zwraca 403 Forbidden, co pojawi się jako błąd w raportach Search Console. Reguła nie rozróżnia botów i ludzi, więc blokuje też użytkowników. Trudno ją debugować.

Atrybut rel=”nofollow” na linkach do wyszukiwarki

Każdy link prowadzący do strony wyników (pole wyszukiwania, podpowiedzi, chmura tagów) powinien mieć atrybut rel="nofollow":

<a href="/search?q=buty" rel="nofollow">buty</a>

Wybierz, jeśli chcesz ograniczyć przepływ autorytetu do stron wyników jako dodatek do innych metod. Unikaj, jeśli traktujesz to jako jedyną metodę, bo nofollow nie blokuje ani crawlowania, ani indeksowania.

Ograniczenia: od 2019 roku Google traktuje nofollow jako wskazówkę i może ją pominąć. Atrybut nie chroni przed indeksowaniem, jeśli adres zostanie odkryty inną drogą (mapa strony, linki zewnętrzne).

Paginacja wyników

Jeśli wyszukiwarka zwraca wiele stron, użyj zwykłej paginacji z linkami ?page=2, ?page=3. Google od 2019 roku nie korzysta z atrybutów rel="next" i rel="prev", ale inne roboty i przeglądarki nadal je rozumieją. Możesz też rozważyć stronę „Pokaż wszystko” wskazaną jako kanoniczna.

Wybierz, jeśli wyniki wyszukiwania tworzą długie serie stron, które chcesz uporządkować. Unikaj, jeśli wyników jest mało (dwie, trzy strony), bo paginacja tylko komplikuje strukturę.

Ograniczenia: paginacja nie blokuje crawlowania, a jedynie porządkuje strukturę. Bez unikalnych tytułów i nagłówków strony paginowane mogą wyglądać jak duplikaty.

Co wybrać w Twojej sytuacji

• robots.txt i noindex, ale po kolei, jeśli strony są już zaindeksowane i chcesz trwale je usunąć: najpierw wdróż noindex, poczekaj, aż adresy znikną z indeksu (sprawdź w Search Console), a dopiero potem dodaj blokadę w robots.txt.
• Kanonikalizacja i porządek w parametrach, jeśli prowadzisz duży sklep z nawigacją fasetową i setkami filtrów. To podejście dla dużej skali, zarządzane centralnie w szablonie.
• Blokada serwerowa, jeśli masz tylko dostęp FTP lub SSH, bez CMS. Zawsze testuj ją najpierw na kopii testowej, bo błąd w wyrażeniu regularnym zatrzyma cały ruch.
• Nie polegaj wyłącznie na nofollow, bo nie blokuje on crawlowania ani indeksowania.
• Nie łącz robots.txt i noindex jednocześnie na tych samych adresach: Google nie przeczyta noindex na zablokowanej stronie, więc usuwanie z indeksu może się opóźnić o miesiące.

Wpływ na crawl budget

Crawl budget to liczba stron, które Googlebot chce i może odwiedzić w danym czasie. Strony wyników wyszukiwania to typowa „pułapka na roboty”: praktycznie nieskończona liczba kombinacji parametrów tworzy unikalne adresy z niewielką ilością unikalnej treści.

Każdy niepotrzebnie odwiedzony adres oznacza:

• zużyte zasoby serwera (procesor, pamięć, transfer),
• mniej odwiedzin stron wartościowych (produkty, kategorie, artykuły),
• ryzyko indeksowania stron niskiej jakości, co obniża ocenę całego serwisu.

Blokada stron wyników to jedna z najszybszych optymalizacji crawl budget, szczególnie w sklepach z rozbudowaną wyszukiwarką i filtrami.

Najczęstsze błędy i jak ich unikać

1. Blokada w robots.txt bez noindex na już zaindeksowanych stronach: adres zostaje w indeksie bez opisu i trudno go usunąć. Rozwiązanie: najpierw noindex, potem robots.txt.
2. Zbyt szerokie reguły Disallow: np. Disallow: /search blokuje również /search-console-integration/. Używaj precyzyjnych wzorców z parametrami.
3. Brak noindex na kolejnych stronach wyników: każda strona ?page=2 to osobny adres do zindeksowania. Dodaj noindex na wszystkich stronach wyników.
4. Pomijanie innych robotów: Bing, Seznam, Ahrefs czy Semrush też crawlują serwis. Reguły w robots.txt działają na wszystkie roboty, które je respektują.
5. Brak monitorowania: po wdrożeniu sprawdzaj w Search Console raport „Indeksowanie stron” (pozycje „Zablokowane przez plik robots.txt” i „Wykluczone przez tag noindex”) oraz statystyki indeksowania w ustawieniach usługi.

FAQ

Czy robots.txt usuwa strony z indeksu Google?

Nie. Robots.txt tylko blokuje crawlowanie. Strony już zaindeksowane zostają w indeksie, często bez opisu. Aby je usunąć, użyj znacznika noindex albo narzędzia do usuwania adresów w Search Console.

Jak długo trwa usunięcie stron wyników z indeksu po dodaniu noindex?

Od kilku dni do kilku tygodni, zależnie od tego, jak często Google odwiedza Twoją stronę. Postęp sprawdzisz w Search Console w raporcie „Indeksowanie stron”.

Czy mogę zablokować wyszukiwarkę tylko dla botów, a zostawić ją użytkownikom?

Tak. Robots.txt i noindex działają tylko na roboty, więc użytkownicy nadal korzystają z wyszukiwarki. Reguły możesz kierować do wybranych robotów, np. User-agent: Googlebot zamiast User-agent: *. Filtrowanie po User-Agent na serwerze jest możliwe, ale mniej niezawodne.

Czy w Google Search Console nadal można ustawić parametry URL?

Nie. Google wycofało narzędzie „Parametry URL” w 2022 roku. Parametry stron wyników kontrolujesz dziś regułami w robots.txt, znacznikiem noindex i tym, jakie adresy umieszczasz w mapie strony i linkach wewnętrznych.

Czy rel=”canonical” ze strony wyników do strony kategorii wystarczy?

Nie zawsze. Kanonikalizacja konsoliduje sygnały rankingowe, ale nie blokuje crawlowania ani indeksowania, a Google może pominąć wskazany adres. Traktuj ją jako uzupełnienie, a nie jedyną metodę.