Как да намерите непроследения Google - страница

14/10/16 14/10/16 Не 1172

Разберете колко страници са индексирани от нас, можете да чрез Search Console. Но как да се намерят тези URL адрес. са изчезнали от индекса на търсачката? За да се справи с тази задача ще ви помогне специален скрипт в Python.

Органични търсене се състои от три основни компонента: сканиране, индексиране и класиране. Когато роботът въпрос за вашия сайт, тя сканира всички връзки са намерени. След това тази информация се предава на индекса на търсачката, след което тя се определя по реда на показване в резултатите от търсене.

SEO-експерти се съсредоточават върху компонентите на класирането. Но ако търсачката не можа да обходи и индексира страници на сайта, той не получава трафик от Google. Осигуряване на правилното сканиране и индексиране на сайта - важна част от оптимизацията за търсачки.

Как мога да разбера колко страници са индексирани

Когато Google Search Console, за да получите достъп до разположение, можете да видите колко страници се съдържат в преписката по XML Карта на сайта и колко от тях са били индексирани. В този случай, услугата не се уточнява какъв URL не е хванат в индекса на търсачката.

За да получите тази информация, е необходимо да се провери всеки URL ръчно. Но тази задача може да бъде автоматизиран.

Как да се провери дали URL адреса е индексиран от Google

За да разберете дали даден URL е индексиран от Google, можете да използвате за търсене на оператора «информация:». Например:

Ако адресът е индексиран, резултатът ще бъде:

В противен случай Google ще върне грешка:

Как да използвате Python за масово статус страници тестване индексиране

Сега, че знаете как да проверите отделен URL адрес. Но как да извършва проверки за масово? Използвайте следния скрипт в Python.

За да използвате този скрипт, вашият компютър трябва да бъде инсталиран Python 3. Можете също така трябва да инсталирате BeautifulSoup библиотека. За да направите това, отворете команден прозорец и изпълнете следната команда:

PIP инсталирате beautifulsoup4

След това можете да качите на скрипта на вашия компютър. В същата папка като скрипта, създаване на текстов файл, който съдържа списък на URL адреса. Всеки такъв трябва да отиде на отделен ред.

Сега, че скриптът е готов да отиде, трябва да се инсталира и конфигурира Тор да го използвате като свободен прокси сървър. В Windows изтегляне Tor Експерт пакет. Премахване на папката от архива на локална папка на вашия компютър и да започнете tor.exe. Прозорецът може да бъде сведено до минимум.

След това е необходимо да се инсталира Polipo за конвертиране на чорапи-HTTP прокси-пълномощник. Изтеглете най-новата версия на Windows двоичен (тя ще се нарича «polipo-1.x.x.x-win32.zip») и премахване на папката от архива.

Отворете команден прозорец и отворете папката Polipo. Изпълнете следната команда:

polipo.exe -C config.txt

Python скрипт може да се управлява на този етап:

Сценарият ви подканва за броя секунди за изчакване между проверки всеки URL адрес.

След това той ви моли да въведете името на файла (без разширение) за качване на резултатите до CSV.

Накрая той пита за името на текстов файл, който съдържа списък с адресите на сайтове за проверка.

Въведете тази информация и да стартирате скрипта.

Крайният резултат ще бъде представена под формата на CSV файл, който е лесно можете да отворите в Excel.

В тази финална маса индексирана URL ще бъде настроен на TRUE. непроследения - FALSE.

Ако скриптът не работи, на Google, вероятно блокиране Tor. В този случай, използвайте собствените си прокси сървър чрез модифициране на следния скрипт ред:

заключение

Кои страници са индексирани от Google, е от решаващо значение за SEO. Вие няма да можете да получите трафик от търсенето, ако сайтът ви не е в индекса на търсачката.

За съжаление, Google не предоставя информация за това кои URL не се индексират. Но този проблем е решен. С помощта на скрипт, можете да получите тази информация, описана по-горе лесно.