Изисквания за подкрепа за в Google и Yandex

Блог> SEO> Основни изисквания към файла robots.txt

Къде да поставя файла robots.txt

Структурата на robots.txt

В структурно файла robots.txt е разделена на секции (секции), които са подредени в редове директиви (правила).
Всеки раздел трябва да започва с директиви даден агент и включват потребителски агент стойност на робот за който се отнася.

Директивите могат да се използват специални символи * и $. "Звездичка" символ - * означава всяка последователност (включително празна) на всички символи. По този начин, под маската / грунд * пада и / primer1 и /primer.html.
Знакът * се определя на всеки край на директивата по подразбиране, така че директивата:

абсолютно идентични.
За тълкуването на Директива робот се избегне "добави" символ * използва $ специален знак, това означава край на сравненията подниза.

Забрана за директива

Най-често срещаният директива, която забранява на бота да индексира целия сайт или част от него според регистъра, в пътя си.
Забрана за директива с празен еквивалентен параметър стойност за да се позволи директива: / т.е. Тя позволява да се индексират в целия сайт. По същия начин, празен Позволете директива съответства на забраните директива: / т.е. забранява индекс целия сайт.

Позволете директива

Позволете директива е да се Забрани подобен синтаксис, но, напротив, това показва по какъв начин роботът може да се индексира.

Роботи Yandex не е позволено да индексира целия сайт, с изключение на пътеки, започващи с / праймер.

Споделянето Разрешаване и забраняване

Забрани Позволете директива и са в рамките на една секция робот User-Agent сортирани по дължина URL префикс от най-малкия до най-големия. Както и да изпълни взети последователно, в зависимост от подредени така в списъка. Поради това, че няма значение в какъв ред се поставя в съответствие с директивата.
В действителност, файлът се записва по следния начин:

Позволява само индекс път като се започне с / грунд
Когато и двете директиви са с префикс с една и съща дължина, приоритетът е дадено да се даде възможност директива.

Карта на сайта Директива

Ако структурата на сайта е описано от sitemap.xml файл, да се посочи пътят на робот като директива параметър на сайта.
Роботът ще запомни пътя, обработка на данни и да ги използва в следващите сесии на багажника.

директива Host

директива Водещ се интерпретира правилно само ботове Yandex. Това ясно показва търсенето robotu- "zerkalschiku" на главната огледало сайта. Фактът, че на сайта с едно и също съдържание може да бъде достъпен в няколко области на домейни, като например:
site.ru
site.com,
и или водещ префикс WWW или без него:
www.site.ru
site.ru
директива Водещ се препоръчва да се вмъкне след директиви позволява и Disallow, ее стойност трябва да е името на домейна с номера на порта (по подразбиране - 80). Всеки файл robots.txt може да се обработи само от една директива домакин. Ако те са многократно, роботът ще изпълнява само първата. Неправилно записани директиви Хост се игнорират.

директива Crawl-закъснение

С търсене бот минимално време може да се настрои с помощта на това правило (в секунди) между завършване на зареждането на една страница и началото на следващата товара. Използването му е оправдана, ако индексът на роботи сайта твърде често, което води до повишено натоварване на сървъра. Тя регистрира веднага след директиви позволяват, Disallow.
Yandex препоръки относно изготвянето на файла robots.txt
Google Как да създадете файл robots.txt
Проверете файла robots.txt, за да коригира възможно в Yandex и Google.