Управление на индексиране сайт, блог за интернет маркетинг

за управление на местата за индексиране на всички търсачките могат да използват файла robots.txt намира в основната директория на сървъра. Този файл съобщава на роботите (ботове), какви файлове те може да индексира и какво не.

Файлът robots.txt се състои от записи. Всеки запис се състои от най-малко две линии: линия с името на приложението на клиента - User-Agent, и един или повече редове, които започват с директива Disallow. Празни редове в файла robots.txt са важни, те споделят записа с различен ред от потребителя агент.

User-Agent низ да посочите името на робота. Така например, в следващия ред е името на един робот за търсене на Google - «Googlebot":

Лодка Yandex - «Yandex»
Лодка Rambler - «StackRambler»
Лодка Yahoo! - «Yahoo! Slurp »
MSN Bot - «MSNbot»

Имената на други роботи могат да бъдат намерени в регистрационните файлове на сървъра.

Ако искате да забраните индексирането на файлове и / или папки на всички търсачки, можете да използвате този знак "*":

Втората част се състои от запис линии разрешението си. Тези линии - директивите за робота (или за няколко роботи). Те разказват робота какви файлове и / или папки за индексиране забранено. В линии с поле забрани писмено не е абсолютно, но относителните представки, тоест да въведете името на домейна не е необходимо.

Например следните директива забранява паяците да индексират файл «download.htm», намираща се в главната директория на сайта:

Директива може да включва името на папката. Например следните директива забранява индексирането папки «CGI-бен», който се намира в главната директория на сайта:

Следната директива ще забрани паяците да индексират и подаде «catalog.html», а папка «Магазин»:

Ако директива Забрана е празен, това означава, че индексът на робот консерва всички файлове. Най-малко една директива Disallow трябва да присъства за всяко поле от потребителя агент, за да robots.txt е правилно възприема от търсачките. Напълно празна robots.txt е същото като неговото пълно отсъствие на сървъра.

Всички търсачки право изцяло да индексира вашия сайт:

Индексирането на сайта забранен от всички търсачки:

Забраната за индексиране на папки «CGI-бен» всички търсачки:

User-Agent: *
Disallow: / CGI-хамбар /

Забраната за «download.htm» файла индексиране от всички търсачки:

User-Agent: *
Забрани: download.htm

Забраната за «download.htm» индексиране на файлове и «CGI-бен» папка всички търсачки:

User-Agent: *
Disallow: / CGI-хамбар /
Забрани: download.htm

Забраната за индексиране «download.htm» файл за Google робот - «Googlebot»:

User-Agent: Googlebot
Забрани: download.htm

# Yahoo! Не индекс.
User-Agent: Yahoo! сърбам
Disallow: /

Прочетете всички бележки в категория: оптимизация за търсачки

Благодаря за статията.
Спешен проблем. Как да изключите ботове преход към страници в Урла, които съдържат "стоп дума"?
например:
site.com/1/2/3/stop/
site.com/2/1/3/stop/

Аз не знам ... единственият начин, който виждам в момента, това е поколението на robots.txt samopisnaya скрипт, ако много и те постоянно се превръща в такъв URL все повече и повече (или списък на "стоп думи" достатъчно динамични), или чрез ръчно добавяне, ако е забранява URL малко и рядко има нов ... Можете също така да обмисли варианта с роботи мета маркер ...

Но смисълът е или ръце или по програмен път. Опции, като се използват само синтаксиса, които не виждам robots.txt.

Germik, Yandex сега ви позволява да поставите икони * и $ за смяна.

Можете да го направите:
Disallow: / * / * / * / стоп /

Александър Sadovsky отговаря на въпроси оптимизатори
Отговори Sadovsky поставя под въпрос оптимизиране на търсачката форум.

Как да запазим устройството в компанията?
каза Красиво Дмитрий Иванов (директор на проекти в компанията Yandex): И ако за малка стартиране на работата, като хоби - в норма.

Андрей Muravov (Грандмайстор)
Интернет маркетинг.
[email protected]