Списъкът на ботове търсене на потребителския агент в - devaka SEO блог

За да забраните индексирането на сайта, или определени участъци от ботове за търсене на ресурси, използвани два метода: добавите мета маркер към страницата, или да създадете файл robots.txt. Често, уебмастъри са изправени пред въпроса за ботовете чрез потребителския агент на определена търсачка. Знаейки, стойността на User-агент за ботове за търсене може да бъде деактивирана, или обратното, да позволява достъп до определен бот, като в следните направления:

User-Agent: Mediapartners-Google
Забрани:

По-долу е даден списък на най-често срещаните ботове, принадлежащи към най-известните търсачки.

WebAlta
WebAlta гъсеничен / 2.0

Забележка:
Някои от най-големите търсачки, в допълнение към основните ботове търсачката, има и роботи да индексират блогове, новини, снимки и т.н. Ето някои от тях:

Сродни връзки на търсещите роботи:

SEO-анализатор, консултант. Винаги в крак с новите тенденции на пазара на SEO.

виж също

28 отговор (напуснат)

много ми помогна, сега ги видите всичките наведнъж

И защо се притеснява да се забрани се индексира от търсачките вашия сайт? Направих направи сайт за хора, и хората могат да го намерят чрез търсене в Google / Yandex / Rambler ... Какво идея аз не разбирам ...

Ами на първо място много полезно да се предпише ботове в сайта и възлага определени права, особено важно за форуми, където ботове без правила ще влязат в страницата за създаване, редактиране на отдела за администратор, добре, като цяло, ще кликнете върху всички бутони подред. На второ място е много полезно да се предпише някои ботове и им пречат при всички или някои достъп. Например най-известната Majestik-12, която идва с тълпа от ботове асистенти и прави заявки към стотици страници в даден момент. Ако това не е регистриран и не блокира достъпа, тя ще бъде възприета от сайта като обикновен потребител и, както и за зареждане на вашия сайт

Ksan4ik, има опция за създаване на 2 различни места или правите на един език на сайта на смени. Търсачките сами ще определят кои страница на коя страна да се сложи в търсенето. И за роботи такива не derektiv. Има и друг вариант да попитам Сапорта домакин IP блок България, но те са затворени, не само за търсачките, но също така и за потребителите.

директива Crawl-забавяне игнорира, инструменти за уебмастъри, които бихме могли да регулирате скоростта на индексиране на вашия сайт, в нито един Mail. Веднага след като роботът се появи на сайта, така че след натоварването на сървъра се издига. Друг избор, освен да блокира ПР на роботите, тя не изглежда. Освен ако, разбира се, на сайта се намира на един споделен хостинг ... За специален проблем на сървъра не трябва да се забелязва.

Yandex променила своите роботи
пример
(Съвместими; YandexBot / 3.0)
стил Googlebot