Perfect или една история за един малък, но много важен файл

Здравейте на всички! Днес ще ви разкажа за един малък файл, който играе огромна роля за насърчаване на вашия блог. Както може би се досещате, тя ще бъде около robots.txt. Въпреки, че няма къде да се каже, че тя трябва да се използва за уеб сайтове, но аз все още ви посъветва веднага (ако не сте го направили), за да отворите FTP-клиент и да инсталирате robots.txt - това отнема не повече от две минути.

На първо аз ще говоря за това, защо имаме нужда от нея. Този файл съдържа инструкции за търсачки, които са написани на пътя до файловете, страници и блогове директории, които не трябва да бъдат индексирани. Или обратно - там може да бъде определен файл, който искате да се индексират на първо място.

Може би вече имам един въпрос - защо в близост до страницата от индекса? Отговорът е прост - за да се избегне двойното съдържание. В една и съща длъжност може да се дублира в тагове, навигационни страници, архиви и т.н. За нас това е съвсем излишно поради няколко причини:

1) се казва, че отрицателно Yandex се отнася до подобен тип дублиране. Аз не знам дали това е вярно, но по-добре да бъдат безопасни, за всеки случай, защото тогава се измъкне от неприятната ситуация ще бъде ох колко трудно е (пример за такива проблеми може да се прочете тук).

2) Когато се стремим към върха ни накара правилната страница с пост, ненужни дубликати страници, ние ще попречи само това (моя приятел Вадим направил, след като експериментът се, резултатите от тази страница).

След това отидох в форума Maula, построен там тема, която описва накратко проблема си и как го реши. За моя изненада, след като този въпрос не е един имах същия проблем! И знаеш ли, че аз бях още по-изненадан? А фактът, че на robots.txt, което взех като пример в Shakin, се появи с малки грешки! Затова реших да се основава на файла, което видя в блога Dmitriya Lebedya. Както можете да видите, две седмици по-късно, аз имам в страниците с индекс 177 (в Google в 2 пъти повече, но това няма нищо лошо - Google по-лоялни от гледна точка на съдържанието се удвоява).

Така че, нека да създадете файл: Създайте нов текстов документ robots.txt, го напълни с необходимите данни и да го попълнят в главната директория, където вашия блог.

Но, всъщност, и текста, който искате да вмъкнете във файла:

User-Agent: Yandex - Yandex робот търсене уточни какво трябва да се направи.
User-Agent: MJ12bot - информация за този робот тук. Не помня къде четох, че искате да блокирате индексиране на него, но се чисти все едно не съм.
User-Agent: * - всички показват, че търсачката паяци може да бъде и това, което не може да се индексират. Важно е, че този раздел (*) е последният сред секциите, като първо трябва да посочите конкретна роботи действие, и едва след това - правя насоки за всички.

приготвяне
семантично ядро

FastVPS - надежден и евтин, умен хостинг (Повече) 2domains - евтини домейни за Contentmonster сайтове - тук съм си поръчат статии за техните сайтове. (Още) GoGetLinks - най-добрият пазар за покупка / продажба на вечните качествени връзки (още)

Wix - Създаване на вашия сайт сега!

За оформлението на шаблонните Специални благодарности на чичо Phoenix