Kgarage44 (Kostroma автомобилистите Forum) - Виж темата - кой е Google бот

Какво е робот, Googlebot?

Робот Googlebot - това е уеб пълзи програма на Google ( "паяк"). Сканиране - е процес, чрез който Googlebot открива и актуализира страници, за да бъдат добавени към индекса на Google.

Googlebot не трябва да влезете в сайта си повече от веднъж на всеки няколко секунди (средно). Това се отнася за повечето сайтове. Въпреки това, поради мрежови закъснения за кратки периоди от време, този процент може да бъде малко по-висока. Като правило, роботът ще трябва да изтеглите само едно копие от всяка страница. Ако Googlebot се изтегля страницата няколко пъти, тя може да бъде причинено от спиране и рестартиране на робота.

Googlebot е предназначен за работа разпределени на няколко компютъра. Това гарантира по-голяма ефективност и мащаб с разширяването на мрежата система. В допълнение, за да се увеличи капацитета на мрежата тече много роботите на машини, разположени в близост до обектите индексирани. Ето защо, лечението може да бъде записан в дневниците с от няколко компютъра в домейна google.bg с Googlebot на робот, както е посочено в потребителския агент. Нашата цел е да обходим възможно най-много страници на сайта в даден момент, без да се намалява трафик на сървъра. Искане за скорост на сканиране на климата.
Блокиране си съдържание от Googlebot

Ако искате да блокира индексирането на съдържанието на вашия сайт робот Googlebot, а след това, за това има редица от възможности. Например, можете да блокирате достъпа до файлове и директории на сървъра чрез файла robots.txt.

Ако файла robots.txt работи правилно, но на сайта няма посетители, моля, проверете възможните причини за ниската ефективност при търсене на съдържание.
Проблеми с спамери и други потребителски агенти

Googlebot и всички коректни ботове търсачката ще спазват директивите в robots.txt, но някои роботи и спамърите не го правят. Сигнал за спам Google.

Google има няколко други потребителски средства, такива като Feedfetcher (потребителски агент Feedfetcher-си). Тъй като искането Feedfetcher е резултат от изричното искане на потребителя, добави фуражите в дома си страница в Google или да Google Reader, а не автоматично действие, като робот, Feedfetcher не следва robots.txt насоки. Можете да предотвратите Feedfetcher обхождането му от конфигурирането на сървъра, за да издаде съобщение за грешка 404, 410, както и друга потребителска програма за Feedfetcher-Google.