за WordPress
Файлът robots.txt - съдържа правилата за ботове търсачката индексират вашия сайт.
ПОДРОБНО ОПИСАНИЕ robots.txt синтаксис HELP Yandex
robots.txt файл е обикновен текстов формат, който се поставя в папката рицар сайт - обикновено в папката WWW. Минималната версия на съдържанието на robots.txt:
User-Agent: * - съобщения, че писмените правила по-долу се отнасят за всички ботове.
Ако искате да създавате правила за даден робот, след което посочва името, например, за всички ботове Yandex:
Disallow: / категория - забрана категория раздел индексиране. Бъдете внимателни, тъй като подобна забрана означава индексиране забрана всичко, което ще започне с / категория, например / категория / бизнес, / категория / бизнес / raschet_dohoda т.н.
Водещ: site.ru - какво домейн смята за основна огледало сайт и да използвате индекса за екстрадиране.
Създаване на robots.txt в WordPress версия 3.5.1+
В някои платформи robots.txt генерирани програмно, така че няма да го намерите в главната папка на сайта, както и ако към тях се прибавят и своята, той най-вероятно няма да работи. Така например, в WordPress версия 3.5.1 функция, която създава файла robots.txt е в това: WWW / WP-включва / functions.php. Следователно, за да направите промените, ще трябва да пиша малко код. Как да направите това по-късно.
7. Ако е необходимо, добавете забраната за индексиране на други папки на услуги или страници, като например: