Правилно за WordPress

Robots.txt - мощно оръжие SEO оптимизация, грамотен настройка, която може да помогне значително в индексация.

В същото време, настройката на крива robots.txt може да причини големи щети на проекта. Говорете за коректността на конкретен пример за robots.txt може да бъде безкрайно дълго. Аз предлагам да се съсредоточи върху фактите.

Тази промяна се отрази и на WordPress.

Много сайтове използват стари техники, които блокират директорията на индексиране система / WP-включва /. които често се съхраняват JS библиотеки и стилове, необходими за експлоатацията на обекта. А това означава, вижте сайта на Google вече не е начина, по който се възприема от посетителите.

Оказва се, че когато се практикува вече не работи.

В много WordPress сайтове затворени от индексиране и друга система директория / WP-администратор /. Какво е прав, в действителност. Но ако вашият сайт използва асинхронно зареждане страници (AJAX), тя може да блокира изтеглянето на вътрешни страници. Тъй като администратор-ajax.php. който е отговорен за всичко това се намира в / WP-администратор /.

Directory / WP-администратор / може да се остави да работи от индексиране, но тогава ще трябва отделно разрешително за индексиране админ-ajax.php.

Ако една от най-старите начини за проектиране на файла robots.txt се използва в Wordpress, е необходимо да се провери какво определена директория скрити от индексиране и премахване на всички ограничения, които блокират зареждането на страници.

За да потвърдите, че препоръчваме да използвате Google Search Console на, в която трябва да се регистрират предварително, добавете инспектирани сайта и потвърди правата върху него. Това се прави много просто.

Как да проверите robots.txt

Тествайте robots.txt грешка, можете да използвате инструмента за тестване на robots.txt - това се нарича този инструмент, вижте Google «Scan» уебмастър.

Ако сайтът изглежда по същия начин, както в браузъра, че е добре, а robots.txt не блокира нищо. Ако има някакви различия, то не се показва, или на сайта не се вижда изобщо, а след това трябва да разбера къде ключалката и го отстранете.

Как трябва да изглежда да е валиден Robots.txt за Wordpress

Аз съм все по-убеден, че е по-добре да се направи минимум robots.txt незабавно и да обхваща само / WP-администратор /. Разбира се, отваряне на админ-ajax.php, ако има Аякс искания. И не забравяйте да посочите страната домакин и страната Карта на сайта.

Моят robots.txt често изглежда така:

В заключение

Създаване на robots.txt универсално право за всички сайтове в Wordpress невъзможно.

На всяко място има конкретна тема, набор от приставки и типове данни (CPT), която генерира уникален басейн на URL.

Robots.txt често коригира вече по време на експлоатацията на обекта. За да направите това, непрекъснато следи индекса на сайта. И ако го получите някакви нежелани страници, те са изключени. Така например, в индекса понякога се страници с параметри? P и? S.

Те могат да бъдат изключени.

Понякога дори да получите емисии, които също могат да бъдат затворени.

По принцип, задачата да се премахнат страници от индекса правилно решаване на код ниво, затваряне на страницата на сканирането с мета «Noindex».

За Yandex инструкции в robots.txt и мета тагове «Noindex» работят по същия начин - на страницата, се отстранява от индекса. Но за robots.txt на Google - забрана за индексиране и мета «Noindex» - забрана за сканирането. И ако, например, страницата е блокирана в robots.txt. търсене робот, просто не може да се намери на мета маркер «Noindex» на тази страница, и той ще остане в индекса. Това е ясно написано в търсене на конзолата за помощ.

Необмислени действия с този файл може да доведе до трагични последици. Не бързайте да му помогне да покрие цялата директория ред. Използвайте включете Yoast SEO - това ви позволява да зададете правилните забрани с мета тагове.

Популярни този месец