Как да се затвори сайта от индексиране в Google

Все още има хора, които използват файла robots.txt, за да затворите страницата индексиране от търсачките, и я извадете от резултатите от търсенето. Обяснете защо файла robots.txt за тези цели не е достатъчно и трябва да направим, за да страница или домейн не се появи в този въпрос.

Най-очевидният начин да скриете нежеланите страници от SERPs - затварят от индексирането му чрез файла robots.txt. Но резултатът е различен от този, който очаквате: сайтове ще продължат да се показват в търсенето. В тази статия, Йост де Valk, на Yoast обяснява защо, и казва какво да правя, така че страницата или сайта изчезна от проблема.

Разликата между индексиране и показване на резултатите от търсенето в Google

Преди да се обясни защо забрана за индексиране на сайта не се намесва в търсачката за да се покаже неговото екстрадиране, не забравяйте, на няколко условия:

Индексирането - процесът на изтегляне на сайт или страница съдържание към сървъра на търсачката, в резултат на което се добавя даден сайт или страница в индекса.
Класиране / дисплей в търсенето - показване на даден сайт в резултатите от търсенето.

Потребителите често се оплакват, че Google игнорира забраната за индексиране страници в robots.txt и все още го показва в резултатите от търсенето. Най-често се случва следното: Когато някой изпраща сигнал към робота да се забрани индексирани страници, то се появява в откъса търсене с необичайна - без текст описание. Причина: не роботи сканират страницата. Те видяха само позоваванията на URL. Причината е, че роботите са видели линка, а не на цялата страница, потребителите се напомня да издаде фрагмент без deskripshna. Позовавайки се на примера.

В един момент на Калифорния отдел на моторни превозни средства, домейн www.dmv.ca.gov, блокирани всички търсачки използвате robots.txt. Но ако потребителят търси информация при поискване Калифорния DMV, има само един отговор, който съответната търсачката може да предложи на потребителя. Независимо от robots.txt, който казва на робота, че не се преглеждат страницата робота вижда, че много сайтове, сочещи към определена страница с помощта на котва текст с текста Калифорния DMV. Роботи да разберат, че тази страница - резултатът, най-подходящи потребителски заявки. Поради това, те показват резултата в проблема, дори и без да сканирате страницата. В желанието си да предостави на потребителя в резултат, най-подходящата искането, може да бъде единствената причина, че Google показва в резултатите от търсенето, а не сканирани роботи.

Друг пример - Nissan уебсайт. Nissan отдавна се използва robots.txt, за да се ограничи индексирането на всички страници. Но ние открихме сайта и описанието му в отворено директорията DMOZ. Ето защо, когато потребителят получава връзка към сайта сред резултатите, видяха откъс като нормални страници, които са индексирани от роботи. Но този фрагмент не е направен въз основа на резултатите от сканиране. Тя е създадена от DMOZ информация.

Резултатът: Google може да покаже нещо, което той смята за полезни за потребителя, без нарушаване на забраната за robots.txt за сканиране.

Ако не искате страницата да се показва в търсенето, да разрешите на роботите и за индексиране на страницата и след това да използват Noindex атрибут. Когато роботът вижда етикет «Noindex», той хвърля страница с всички резултатите от търсенето. Страницата не се появи в търсенето, дори ако други сайтове се свързват с нея.

Друг вариант - да се използват URL инструмент за премахване. Блокиране на сайта изцяло в robots.txt, и след това да използвате URL адрес на инструмент за премахване.

Какво се случва: затваряне на обекта чрез сканиране, да ви лиши роботите как да знае, че забранено търсене дисплей двигател.

Ето защо:

За да се предотврати появата на сайта в резултатите от търсенето, трябва да се даде възможност на Google роботи сканират страницата.

Тя може да изглежда противоречиво. Но единственият начин можете да скриете на сайта в резултатите от търсенето.

Как да забраните показването на страницата в резултатите от търсенето

Чрез добавяне на роботи мета

Първата версия на страниците на забрана за показване в Google - използвайте мета роботи. Трябва да добавите този маркер към страницата:

Проблемът с етикет във факта, че тя ще трябва да добавите към всяка страница.

Използвайте X-роботи-Tag HTTP заглавката

Защо X-роботи-Tag HTTP хедър е готино:

Затваря да попадне в търсенето на всички файлове - като HTML и PDF, док, XML.
Не е нужно да обработват всяка страница, можете веднага да се скрие от търсене на целия сайт.

Ако сайтът ви е базирана на Apache, и mod_headers не са налични във файла .htaccess корен, добавете кодовия фрагмент:

По този начин, вашия сайт ще бъдат индексирани. Но не се показват в резултатите от търсенето.

За да премахнете сайт от търсенето ви, не използвайте robots.txt. Вместо това използвайте X-Robots-Tag или мета роботи.

robots.txt затваря сайта индексирането, но сайтът все още може да се появи в резултатите от търсенето.
За да скриете страница или сайт от търсене, използвайте мета маркера за роботи или X-роботи-Tag заглавни HTTP.
роботи мета тагове трябва да се добавят към всяка страница, която искате да скриете, индивидуално. Тя може да се използва само за HTML-документ.
X-роботи-Tag HTTP хедър позволява да се скрие от резултатите от търсенето веднъж в целия сайт. Може да се използва, за да скриете HTML-документи и други файлови формати - PDF, DOC, XML.
Не е необходимо да се забрани страници за сканиране, като robots.txt. Ако при това не е позволено, роботите няма да видят насоките за индексиране и показване в търсенето. Така че, те не отговарят на директивата, както и на сайта ще се появи в този въпрос.

Какво друго да се провери:

Сподели статията: