Skąd bierze się problem ukrytych noindex
Noindex pojawia się, gdy ktoś celowo albo przypadkowo oznaczy stronę tak, by wyszukiwarki jej nie indeksowały. Czasem to celowe działanie przy treściach testowych albo strony staging. Czasem to błąd w szablonie lub wtyczce.
Ukryte noindex bywają trudne do wykrycia, bo mogą występować w wielu miejscach. Mogą być w meta tagu na stronie, w nagłówkach HTTP, a nawet w szablonie, który dodaje je automatycznie do całej witryny.
Jak Google odkrywa stronę i co widzi?
Google najpierw próbuje pobrać stronę za pomocą robota. Pobranie to daje mu dostęp do treści HTML i nagłówków HTTP. Jeśli robot nie może pobrać strony, robot może nadal znać sam adres z linków zewnętrznych.
Jeśli robot widzi meta robots z noindex to strona nie trafi do indeksu. Jeśli robot nie może pobrać strony z powodu robots.txt to może nie zobaczyć meta robots i wtedy Google może zindeksować sam adres bez treści.
Gdzie może pojawić się noindex w kodzie strony
Noindex najczęściej występuje w meta tagu robots w sekcji head. Może też znaleźć się w tagach noindex w szablonach, w atrybutach x-robots-tag w nagłówkach HTTP, w konfiguracji wtyczek SEO lub w ustawieniach CMS.
Warto sprawdzić zarówno widok źródła strony jak i nagłówki HTTP. Czasem noindex jest dodawany tylko dla niektórych wersji strony na podstawie warunków serwera.
Sprawdź więcej treści z Indeksacja i widoczność.
Noindex w nagłówkach HTTP jak to działa?
Serwer może wysłać nagłówek X-Robots-Tag z wartością noindex. To działa dla dokumentów innych niż HTML i dla wszystkich typów odpowiedzi. Google respektuje ten nagłówek podobnie jak meta robots.
Aby to sprawdzić wystarczy zobaczyć nagłówki odpowiedzi. Narzędzia deweloperskie w przeglądarce lub polecenie curl -I pozwolą odczytać X-Robots-Tag. Jeśli nagłówek ma noindex to strona nie będzie indeksowana nawet gdy w HTML nie ma meta robots.
Co robi robots.txt i jak to myli właścicieli stron?
Robots.txt blokuje pobieranie zasobów przez robota. Blokada nie zawsze powoduje brak indeksacji. Google może zindeksować adresy, które zna z innych źródeł, nawet gdy nie może ich pobrać.
Jeśli robots.txt blokuje dostęp do strony to Google nie zobaczy meta robots. W takim wypadku noindex umieszczony w kodzie nie zadziała. To częsta przyczyna, gdy strony nagle znikają mimo że wydaje się, że nie ma noindex.
Jak sprawdzić status indeksacji w Search Console?
Narzędzie Inspekcja adresu URL w Search Console pokaże czy Google widzi stronę, czy jest zindeksowana i jakie dyrektywy napotkał robot. Tam sprawdzisz live test i zobaczysz wykrywane meta robots oraz status pobrania.
W raporcie Pokrycie znajdziesz listę błędów i statusów dotyczących indeksacji. To miejsce, gdzie zaczyna się diagnoza, bo daje konkretne komunikaty zamiast zgadywania.
Sprawdź więcej treści z SEO techniczne.
Jak wykonać szybki test na żywo
Otwórz stronę w przeglądarce i zobacz źródło strony. Szukaj meta name robots lub meta name googlebot. Potem sprawdź nagłówki w zakładce Network. To pozwala szybko zobaczyć, czy noindex występuje w HTML albo w nagłówkach.
Jeśli nie masz dostępu do serwera użyj narzędzi online do sprawdzania nagłówków. To pozwoli potwierdzić obecność X-Robots-Tag bez logowania do serwera.
Typowe miejsca w CMS i szablonach gdzie noindex bywa ustawione
Wtyczki SEO mogą mieć globalne ustawienie noindex dla całej witryny lub dla wybranych typów treści. Szablony mogą dodawać meta tagi warunkowo, na przykład dla stron archiwalnych lub stron wyników wyszukiwania.
Warto sprawdzić ustawienia w panelu CMS, ustawienia wtyczek oraz pliki nagłówków szablonu. Usunięcie noindex z jednego miejsca może być bezskuteczne jeśli inny moduł ponownie go dodaje.
Błędy mylone z noindex i jak je odróżnić
Często brak widoczności mylony jest z noindex gdy przyczyna leży w kanonikalizacji. Strona może mieć kanoniczny adres wskazujący na inny URL i wtedy Google indeksuje inny wariant. To wygląda jak zniknięcie mimo braku noindex.
Inne mylone przyczyny to przekierowania, 404, ograniczenia dostępowe wymagające logowania oraz filtr jakościowy. Ważne jest spojrzeć na kod odpowiedzi HTTP i na to co pokazuje Search Console.
Sprawdź więcej treści z bazy wiedzy SEO.
Co sprawdzić najpierw gdy strona nagle przestaje być widoczna
Pierwsze kroki to inspekcja adresu w Search Console i odczyt nagłówków HTTP. Potem sprawdź robots.txt i mapę witryny. Wykonaj test na żywo by potwierdzić czy meta robots lub X-Robots-Tag faktycznie występuje.
Jeśli zmiany wyglądają poprawnie to sprawdź logi serwera pod kątem błędów i przyrostu indeksacji. Czasem problem jest tymczasowy i wynika z opóźnień w recrawl lub z ostatnich zmian w konfiguracji serwera.
Kiedy usunięcie noindex nie przełoży się natychmiast na widoczność
Usunięcie noindex wymaga recrawlu i ponownej oceny przez Google. Dla pojedynczych stron może to zająć od kilku dni do kilku tygodni. Widoczność zależy też od jakości treści i sygnałów zewnętrznych więc nie zawsze natychmiast zobaczysz ruch.
noindex – najczęstsze pytania
Niżej znajdziesz krótkie odpowiedzi na typowe pytania dotyczące noindex. Obejmują one wykrywanie noindex, różne miejsca występowania i szybkie sposoby diagnozy.
Jak sprawdzić czy strona ma noindex
Użyj Inspekcji adresu URL w Search Console i sprawdź źródło strony oraz nagłówki HTTP w narzędziach deweloperskich.
Czy robots.txt blokuje działanie noindex
Tak. Jeśli robots.txt zabrania pobierania strony Google nie zobaczy meta robots i wtedy noindex nie zadziała.
Jak odczytać X-Robots-Tag z nagłówków
Sprawdź nagłówki odpowiedzi przy pomocy curl -I lub zakładki Network w przeglądarce. Szukaj X-Robots-Tag z wartością noindex.
Czy noindex może być ustawiony globalnie przez wtyczkę
Tak. Wtyczki SEO mogą ustawić noindex dla całej witryny lub dla określonych typów treści w ustawieniach globalnych.
Co zrobić gdy Search Console pokazuje brak indeksu z powodu noindex
Usuń dyrektywę noindex tam gdzie występuje i poproś o ponowne zażądanie indeksacji w Inspekcji adresu URL.
Czy noindex w nagłówku HTTP działa dla plików PDF
Tak. X-Robots-Tag w nagłówku HTTP działa dla wszystkich typów zasobów w tym dla plików PDF.
Dlaczego strona wciąż nie pojawia się po usunięciu noindex
Może być potrzebny czas na recrawl, a także Google ocenia jakość treści. Jeśli strona ma niską wartość może nie uzyskać widoczności mimo braku noindex.
Czy linki do zablokowanej strony mogą spowodować jej indeksację
Tak. Google może zindeksować adresy znane z linków nawet jeśli nie może pobrać zawartości z powodu robots.txt.
