Jak zablokować indeksowanie witryny?

Jak zablokować indeksowanie witryny?

Bezpłatna konsultacja

Czym jest indeksowanie witryny?

Indeksowanie witryny polega na dodaniu wybranej strony do indeksu Google. Dzięki temu strona dostępna jest w wynikach wyszukiwania. Indeksowanie Google to proces stały, który cały czas jest aktualizowany. Roboty Google przeszukują sieć, aby wyłapać nowe lub zmodyfikowane strony internetowe i dodać je do indeksu. Proces ten można wykonać także ręcznie, dzięki czemu właściciele stron internetowych mają pewność, że nie zostaną one pominięte w wynikach wyszukiwania.

Proces indeksowania odbywa się na podstawie algorytmu, który decyduje o tym, jakie witryny i w jakiej liczbie trafią do indeksu Google. Docelowo właściciele witryn powinni zadbać o to, aby zaktualizowane strony internetowe jak najszybciej zostały zindeksowane. Są jednak typy podstron, które nie powinny być indeksowane, ponieważ może wpłynąć to negatywnie na optymalizację serwisu oraz jego pozycję w wyszukiwarce.

Jakie typy podstron nie powinny być indeksowane?

W ramach strategii pozycjonowania i optymalizowania stron internetowych warto zadbać o zablokowanie indeksowania określonego typu podstron. Doświadczeni specjaliści, wskazują przede wszystkim 9 podstron, które warto pominąć w indeksowaniu. Wśród nich znajdują się:

Regulaminy i inne dokumenty prawne

Dokumenty związane z obowiązkami przedsiębiorcy wobec przepisów prawa nie powinny być indeksowane. Wpływ na to ma duże ryzyko powielenia treści z innych stron internetowych, ponieważ zapisy prawne, polityka prywatności, czy też polityka cookies, często mają bardzo podobne brzmienie. Może to doprowadzić do uznania stron jako duplikatów, co wpłynie na niższy ranking strony w organicznych wynikach wyszukiwania.

Podstrony dla grafik

W niektórych systemach CMS lub wtyczkach powstają osobne strony do tworzenia galerii, w tym także dla każdej odrębnej grafiki. W związku z tym powstają czyste strony lub strony z opisem obrazka. Aby zadbać o lepsze pozycjonowanie strony, niezbędne jest zablokowanie indeksowania dla tych miejsc.

Formularze logowania

Indeksowaniu nie powinny podlegać także formularze logowania, rejestracji, czy też odzyskiwania hasła. Zamiast indeksowania tych podstron, lepiej postawić na widoczne przyciski na stronie głównej, które będą prowadziły do wymienionych w tym akapicie funkcji.

Ulubione produkty, podstrony koszyka, zamówienia i zwroty

Wpływ na obniżony ranking wyszukiwarki ma także indeksowanie takich podstron jak: koszyk zakupowy, zwroty produktów, formularz zamówienia i ulubione produkty.

Wewnętrzna wyszukiwarka

Przygotowane listy wyników wyszukiwania wewnętrznego tworzą duplikację treści (np. fragmenty blogów, czy opisy produktów), co wpływa na niższą ocenę serwisu przez algorytm Google. Wpłynie to niekorzystnie na pozycjonowanie strony w sieci, dlatego warto zablokować indeksowanie list wyszukiwania wewnętrznego.

Podstrony bez treści lub kopie strony

Na stronie internetowej mogą znajdować się także podstrony, gdzie są kopie treści ze strony głównej, których usunięcie jest niemożliwe ze względów prawnych. Wówczas warto zablokować ich indeksowanie za pomocą pliku robots.txt. no index lub “noindex” to informacja o tym, że dana strona lub jej część nie podlega indeksowaniu. Tę sama czynność należy wykonać z pustymi podstronami.

Błędne tagi i archiwa generowane przez CMS

Indeksowaniu nie powinny podlegać podstrony z błędnie wdrożonymi tagami, a także podstrony, na których CMS w sposób automatyczny generuje archiwa kategorii i archiwa dat. Jeżeli dojdzie do indeksowania tych stron, to wpłynie to negatywnie na ich pozycjonowanie.

Nieprawidłowo zoptymalizowane stronicowanie

W strukturze strony internetowej może dochodzić do paginacji, czyli dzielenia treści na występujące po sobie podstrony. Paginacja jest możliwa do zoptymalizowania pod SEO, jednak czasem pojawiają się komplikacje. Wówczas rekomenduje się zablokowanie indeksowania tych podstron, aby nie wpłynęły niekorzystnie na ranking w wyszukiwarce.

Sortowanie, filtrowanie i zmiana widoku listy

Blokowanie stron w wyszukiwarce powinno obejmować także podstrony, gdzie treść jest ta sama, a zmienia się tylko jej układ (np. przy filtrowaniu i sortowaniu).

To 9 podstawowych rodzajów podstron, gdzie warto postawić na zablokowanie ich indeksowania. Oprócz nich warto zwrócić uwagę także na wszystkie testowe strony, gdzie sprawdzamy wygląd wpisów blogowych, czy też swoich realizacji. Je również trzeba zablokować. W jaki sposób to zrobić?

Blokowanie indeksowania stron

Umiejętne wykorzystywanie metod blokowania indeksowania stron internetowych jest bardzo ważne dla każdego właściciela witryny. Dzięki temu z indeksowania można wykluczyć podstrony, które wpływałyby negatywnie na ranking witryny w organicznych wynikach wyszukiwania. Algorytm Google bierze pod uwagę ponad 200 kryteriów analitycznych, które wpływają na ostateczny ranking. Nawet jedna niepotrzebnie zindeksowana strona może mieć znaczny wpływ na wyniki wyszukiwania, dlatego nie można tego bagatelizować. Blokowanie indeksowania stron możliwe jest przy wykorzystaniu jednej z metod, które opisano poniżej.

Blokowanie za pomocą pliku robots.txt

Jedną z metod jest blokowanie indeksowania witryny za pomocą pliku robots.txt. Jest on dostępny pod adresem danej podstrony z rozszerzeniem. Plik powinien zostać odnaleziony po wpisaniu w wyszukiwarkę “https:/domenapodstrony.pl/robots.txt”. Jeżeli plik nie zostanie w ten sposób znaleziony, to należy wgrać go bezpośrednio na serwer strony. Następnie do pliku wkleja się kod:

User-agent: *

Disallow: /

W ten sposób indeksowanie strony zostanie zablokowane. Informacja o zablokowaniu indeksowania danej witryny widoczna jest w komunikacie robots.txt noindex.

Blokowanie indeksowania dzięki meta tag noindex

Kolejną metodą jest blokowanie indeksowania witryny, dzięki użyciu meta tagu noindex. Wówczas w sekcji head strony należy wkleić kod HTML o treści:

<meta name=”robots” content=”noindex”>.

Zastosowanie w ten sposób dyrektywy i połączenie robots no index sprawi, że zablokowane zostanie indeksowanie witryny przez większość robotów. Jeżeli chcecie zablokować możliwość indeksowania strony stricte przez roboty Google, to niezbędne będzie użycie tagu noindex w head strony w następujący sposób:

<meta name=”googlebot” content=”noindex”>.

Ponadto można stosować dyrektywę w kontekście poszczególnych robotów. Wówczas niezbędne jest użycie odpowiedniej liczby metatagów robots noindex w różnej formie. W zależności od wyszukiwarki roboty mogą w inny sposób odczytywać wskazaną dyrektywę. To sprawia, że w niektórych przypadkach zablokowana strona może pojawiać się w wynikach wyszukiwania, jednak w ten sposób unikniecie indeksowania w kluczowych wyszukiwarkach, w tym w Google.

Blokowanie stron na WordPressie

Nieco inaczej wygląda blokowanie stron na WordPressie. Wówczas niezbędne jest przejście do panelu administratora, a następnie przejście przez sekwencję: Ustawienia -> Czytanie -> Widoczność dla wyszukiwarek. Pojawi się formularz, w którym można zaznaczyć pole „Proś wyszukiwarki o nieindeksowanie tej witryny”. Odhaczenie tego pola wpływa na automatyczne uruchomienie tagu noindex w sekcji head strony. Po wykonaniu tej czynności dana witryna lub podstrona zostaną wyłączone z indeksowania, co wpłynie korzystnie na realizację działań marketingowych związanych z pozycjonowaniem strony w sieci.

Nagłówek odpowiedzi HTTP w blokowaniu indeksowania

Osoby zajmujące się na co dzień pozycjonowaniem oraz optymalizacją stron internetowych trafią na nagłówek odpowiedzi HTTP X-Robots-Tag. On również może posłużyć do blokowania indeksowania całych stron internetowych, podstron lub nawet zdjęć na stronach. Informacja o nieindeksowaniu danej strony może wyglądać w następujący sposób:

HTTP/1.1 200 OK

(…)

X-Robots-Tag: noindex

(…)

Atutem nagłówka odpowiedzi HTTP X Robots Tag jest to, że może on być wykorzystywany do zasobów, które posiadają format inny od HTML. Dotyczy to między innymi plików graficznych, wideo, czy też plików w popularnym formacie PDF.

Noindex - definicja

W większości przytoczonych metod pojawia się dyrektywa noindex. To z niej mogą korzystać na co dzień metatag robots. Zastosowanie dyrektywy noindex w kontekście danej witryny sprawia, że nie będzie można jej indeksować, czyli nie będzie dostępna w wynikach wyszukiwania. Roboty analizując zawartość kodu strony, weryfikują możliwość jej indeksowania oraz ustalają jej ranking, który następnie wpływa na widoczność w sieci. Jeżeli w trakcie analizy trafią na dyrektywę noindex, np. w ramach “robots.txt no index” to jest to dla nich czytelny przekaz, że danej strony się nie indeksuje.

Jak umożliwić ponowne indeksowanie witryny?

Jeżeli blokowanie indeksowania witryny ma związek z przygotowywaniem nowej strony internetowej, to bardzo ważne jest umiejętne odblokowanie indeksowania. W tym celu należy odhaczyć w WordPress dedykowane pole lub usunąć z robots.txt instrukcję Disallow: /. Aby przyspieszyć indeksowanie do Google, należy zainstalować Google Search Console i sprawdzić adres URL. Jest to o tyle ważne, że czasem automatyczne indeksowanie może zająć nawet 30 dni. Gdy strona jest już gotowa do pokazania jej światu, warto przyspieszyć ten proces.

Kiedy warto postawić na zablokowanie indeksowania witryny?

Powodów, dla których chcemy zablokować indeksowanie poszczególnych witryn, może być wiele. Najczęściej dotyczy to nowych stron internetowych, nad którymi wciąż prowadzone są prace. Choć strony już de facto funkcjonują i są przygotowywane przez programistów i marketerów, to jednak nie powinny jeszcze w tej formie być dostępne dla ewentualnych klientów lub czytelników. Wówczas stosuje się blokowanie indeksowania stron internetowych. Po skończonych pracach i nadaniu stronie finalnego kształtu można ją odblokować i pozwolić robotom na indeksowanie witryny lub zrobić to we własnym zakresie. Blokowanie indeksowania może być wykorzystywane także w trakcie modyfikacji strony internetowej lub chęci ukrycia podstron, które wpływają na obniżenie rankingu w wyszukiwarce. Jeżeli stajecie przed takim wyzwaniem, to warto zastosować jedną z przytoczonych przez nas metod lub skontaktować się w tej sprawie z profesjonalistami.

ZOBACZ RÓWNIEŻ
WYBRANE WPISY BLOGOWE

    Zastanawiasz się
    dlaczego Twoja strona
    NIE SPRZEDAJE?
    Umów się na bezpłatną konsultację SEO i dowiedz się, jak możemy poprawić Twoje wyniki sprzedażowe.
    Firma SXO
    Firma SXO
    OCEŃ TXT

    Twój adres e-mail nie zostanie opublikowany.

    Darmowa konsultacja

      Zastanawiasz się
      dlaczego Twoja strona
      NIE SPRZEDAJE?
      Umów się na bezpłatną konsultację SEO i dowiedz się, jak możemy poprawić Twoje wyniki sprzedażowe.
      Rozpocznij chat
      Zamów rozmowę

        Chcesz poznać
        ofertę?
        Skontaktujemy się z Tobą w ciągu kilku minut! Jesteśmy dostępni w dni robocze w godzinach 9-15.
        Niestety aktualnie nasz konsultant nie jest dostępny. Skontaktujemy się z Tobą w godzinach otwarcia biura.
        Wyrażam zgodę na przetwarzanie moich danych osobowych przez ICEA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ w celu nawiązania kontaktu. Więcej w Polityce prywatności.