Мета роботи или
META роботи или robots.txt?
Забрана за индексиране с помощта на «robots.txt» файл
Една от възможностите, как да го направя - да се ползва «robots.txt» файлове. По-долу е пример за този файл:
Директива «User-Agent»
Както можете да видите, файлът съдържа препратка към даден агент, търсачката чрез директива «User-агент на задачите». Използвайки го, вие казвате, може да се позволява на един търсачката да индексира даден сайт, а други не са. Или, за да позволи на търсачките да индексират различните различните секции на сайта. Можете също да отидете направо на всички агенти търсачките, определени като стойността за директива «User-Agent» символа "*". Така агент за търсене, четене «robots.txt» файл и да не го намери инструкции за себе си, ще се търсят на правилата, описани за «User-Agent: *».
По-долу е даден списък на някои «User-Agent» за различните търсачки:
- "Яндекс" - агент търсачка "Яндекс".
- «Googlebot» - агент търсачката «Google».
- «Googlebot-Mobile» - агент търсачката «Google», обхожда страници за нашия индекс за мобилни устройства.
- «Googlebot-изображението» - агент търсачката «Google», обхожда страници за нашия индекс изображение.
- «Mediapartners-Google» - агент търсачката «Google», обхожда страници за да се определи съдържанието на «AdSense».
- «Adsbot-Google» - агент търсачката «Google», сканира страниците, оценка на качеството на целевите страници за «AdWords».
- «StackRambler» - търсещия агент «Rambler».
Директива «Disallow»
И по-долу може да бъде затворена в сайта за индексиране на всички търсачки:
Доста често възниква въпросът дали не е необходимо да се постави "наклонена черта", след като името на раздела, посочен в директивата "Disallow"? Фактът, че дава едно и също съдържание на търсенето на www.example.ru/pda/ www.example.ru/pda/ и www.example.ru/pda системи са напълно различни страници от сайта, така че ако уебсайт софтуер и за www.example.ru/pda. в «robots.txt» трябва да определя:
По този начин, ние ще затвори двете части на индекса за всички търсачки.
Страничен ефект на последния метод може да бъде, че Disallow: / PDA забрани индексирането на страници, както /pda.html. /pda-download.html и така нататък. д. т. д. всички страници, които започват с PDA и лъжата в главната директория на сайта.
Следният код не забранява нищо, т.е. позволява да индексира всички страници на сайта за всички търсачки ..:
Контакт по смисъла на «Disallow» директива е директива «Разреши». «Разреши» разрешителни индекс, определен в раздел си на сайта. Да кажем, че искаме да предотвратим индексирането на целия обект, с изключение на раздел / Информация / Извеждане на. В този случай, ние не трябва да се изброят всички други секции в насоките «Disallow», за да ги затворите да бъдат индексирани. Правилното решение е следния код:
Така че ние се даде възможност на всички търсачките да индексират раздел на сайт / инфо / на. но е забранено да индексира всички други раздели.
Директива «Водещ»
Директива «Карта на сайта»
Директива «Карта на сайта» показва местоположението на търсене агент карта на сайта файл «sitemap.xml». Това ще помогне на търсачката, за да намерите бързо файла с карта на сайта. Ако сайтът Ви използва няколко карти, те могат да бъдат посочени, както следва:
Проверете дали файлът е правилно съставен "robots.txt, за", можете да използвате специалната служба на "Яндекс".
Често има погрешно схващане, че «robots.txt» файл помага да индексира вашия сайт. Това е погрешно. С помощта на файла «robots.txt» може да даде повече време на търсачката за индексиране на полезни секции на сайта си, но тя не дава никакви гаранции, че вашият сайт ще се индексира.
Сега, тук ще се опитам да опиша използването на «мета тагове роботи».
Без индексиране чрез «маркера за роботи роботи»
Така че вторият начин за предотвратяване на търсачките да индексират страници от сайта - е да се използват «META роботи марка". Пример за приложение:
В този случай, на страницата ще бъде затворен за индексиране от търсачките.
Примери за използване «мета роботи марка"
noidex, Nofollow
Noindex, следвайте
индекс, Nofollow
«Мета тагове роботи» има приоритет пред «robots.txt» файл. при условие, че в индексирането на файлове е активирано и в мета тага е забранена. Така, че е възможно, например, да забранят метод индексиране изключения.
В общи линии, всичко изглежда, че иска да говори за забраната за индексиране на страници от търсачките. Може би в близко бъдеще ще напиша една статия, как да се генерират програмно «robots.txt» файл на всяка заявка към него, както и описване на плюсовете и минусите на този метод.
Контролирайте индекс