robots.txt для WordPress — рабочий пример файла

robots.txt для WordPress — рабочий пример файла

Провел SEO-аудит сайта при помощи labrika.ru. Оказалось что много технических ошибок. Важно этот файл готовить правильно 🙂 Пришлось колдовать с файлом robots txt. Готового плагина для этих целей у меня нет. Потому решил задачу программно.

В WordPress 5.3 будет использоваться мета-тег для запрета индексации сайтов поисковыми роботами

В WordPress 5.3 будет использоваться мета-тег для запрета индексации сайтов поисковыми роботами В WordPress изменится метод, используемый для предотвращения индексации сайтов со стороны поисковых систем. Ранее после выбора опции «Запретить поисковым системам индексировать сайт» на странице Settings – Reading в WordPress добавлялась строка Disallow: / к файлу robots.txt. Это помогало запретить краулинг (сканирование), однако сайт …

ПодробнееВ WordPress 5.3 будет использоваться мета-тег для запрета индексации сайтов поисковыми роботами

Защита вашего сайта от индексации: правильные способы

Защита вашего сайта от индексации: правильные способы

Мы говорили об этом в 2009-м, и говорим об этом сейчас: удивительно, но до сих пор есть люди, которые используют для защиты своего сайта от индексации в Google или Bing только файл robots.txt. И в итоге их сайт все равно попадает в выдачу поисковиков. Знаете, почему это нас удивляет? Потому что robots.txt вообще не защищает от попадания в выдачу, хотя и препятствует индексации. Давайте в я объясню вам, как это работает.