роботи TXT

Основната цел на роботи TXT - е управлението на търсачките. За потребителите намерили своя сайт в интернет, на първо място тя (уеб страница), за да се индексира. Т.е. Търсене робот да посетите уеб страница, преглед и да го изтеглите на моя база. И едва след това този уеб-страница (документ), може да се появи в резултатите от търсенето.

Но фактът, че сайтът може да бъде много документи, които са безсмислени зареден робота: дублиращи документи, всяка информация, услуга, като например какво да индекс на резултатите от търсенето сайт? А дубликати съдържание?

Първо, определя кои търсачките писмени директива.

# User-агент - е робот за търсене, звездичката означава, че всеки търсачките. Ако създадете robots.txt за определена търсачка, а след това тук и да направим тази.

# Тук посочете конкретно търсене робот Yandex. Всеки верижен всяка система има свое име, така че при Google е Googlebot. Говори се, че Yandex има много роботи: индексиране (YandexBot), снимките Indexer (YandexImages) и др А директива «Yandex» прилага по отношение на всички роботи Yandex система.

Позволете и отрече директиви.

# Така че наклонена черта блокиран достъп до целия сайт.

Пример блокират определени файлове и директории.

# Тази забрана е само за индексиране WP-администратор директория. Т.е. Всички файлове са в WP-администратор директория, но ако има / WP-администратор, то ще бъдат индексирани.

# Тази забрана индексиране всичко, което започва с името на WP-администратор, т.е. забрани директория съдържание WP-администратор и файл / WP-администратор (ако има такива).

# Тази забрана /wp-login.php индексиране на файлове. При условие, че тя се намира в главната директория.

Сега, когато правилната версия на роботите TXT файл за WordPress. (Забележка: за различни блогъри имат собствено мнение като този файл е трудна Кой иска да разбере, мисля, че можете да надникнем в най-готините SEOshnikov.). Търсите роботи TXT на различни места са установили, че не е ясно защо те пишат 2 версии: едната за всички търсачки и един за Яндекс. Оказа се, че Yandex просто обича, когато той е адресирано лично. Идеален файл не може да бъде, като всички те са различни.

Все още не съм такава опция тук.