К счастью, есть простой способ сделать это на вашем сайте WordPress. Использование robots.txt файл будет направлять поисковые системы (и, следовательно, посетителей) от любого содержания вы хотите скрыть, и даже может помочь укрепить ваши поисковик Оптимизация (SEO) усилия.
В этой должности, мы поможем вам понять, что robots.txt файл и как она относится к SEO вашего сайта. Тогда мы покажем вам, как быстро и легко создавать и отсеивать этот файл в WordPress, используя плагин Yoast SEO. Давайте нырять в!
Введение в robots.txt
В двух словах, robots.txt представляет собой простой текстовый файл, который хранится в главном каталоге веб-сайта. Его функция заключается в том, чтобы дать инструкции для поисковых систем сканеров, прежде чем они исследуют и индексировать страницы вашего сайта.
Для того, чтобы понять robots.txt, вы должны знать немного о поисковых системах сканеров. Это программы (или «боты»), которые посещают веб-сайты, чтобы узнать об их содержании. Как сканеры индексировать страницы вашего сайта определяет ли они в конечном итоге на выдачи (и как высоко они ранга).
Когда сканер поисковой системы прибывает на веб-сайт, первое, что он делает, это проверить на сайте robots.txt файл в главном каталоге сайта. Если он найдет один, он будет принимать к сведению инструкции, перечисленные в рамках, и следовать им при изучении сайта.
Если нет файла robots.txt, бот будет просто ползать и индексировать весь сайт (или столько сайт, как он может найти). Это не всегда проблема, но Есть несколько ситуаций, в которых он может оказаться вредным для вашего сайта и его SEO.
Почему robots.txt вопросы для SEO
Одним из наиболее распространенных видов использования robots.txt является сокрытие содержимого веб-сайта от поисковых систем. Это также называется «отказом» ботов от сканирования определенных страниц. Есть несколько причин, по которым вы можете сделать это.
Первая причина заключается в защите вашего рейтинга выдачи. Дублирование содержимого, как правило, путают сканеры поисковых систем, поскольку они не могут перечислить все копии на выдачи и, следовательно, должны выбрать, какую версию расставить приоритеты. Это может привести к вашему содержанию конкурировать с самим собой за высшие рейтинги, что контрпродуктивно.
Еще одна причина, по которой вы можете скрыть содержание из поисковых систем, чтобы держать их от отображения разделов вашего сайта, что вы хотите сохранить в тайне — такие, как ваш промежуточной области или частных членов только форумы. Встреча с этими страницами может ввести в заблуждение пользователей, и это может вытащить трафик от остальной части вашего сайта.
В дополнение к запрещению ботов изучить определенные области вашего сайта, вы также можете указать «задержку сканирования» в файле robots.txt. Это предотвратит перегрузки сервера, вызванные загрузкой и сканированием нескольких страниц на вашем сайте одновременно. Он также может сократить подключение приурочен ошибок, которые могут быть очень разочаровывает для ваших пользователей.
Как создать и отсеить robots.txt в WordPress (в 3 шагах)
К счастью, yoast SEO плагин позволяет легко создавать и отсылать ваш сайт WordPress robots.txt файл. Шаги ниже будет считать, что вы уже установлены и активированы Yoast SEO на вашем сайте.
Шаг 1: Доступ к редактору файлов SEO Yoast
Один из способов создания или ред., чтобы ваш файл robots.txt является использование инструмента редактора файлов Yoast. Чтобы получить к нему доступ, посетите ваш WordPress админ приборной панели и перейти к Yoast SEO
На полученном экране выберите редактор файлов из списка инструментов:
Если у вас уже есть файл robots.txt, это откроет текстовый редактор, где вы можете внести в него изменения. Если у вас нет файла robots.txt, вы увидите эту кнопку вместо этого:
Нажмите на него, чтобы автоматически создать файл robots.txt и сохранить его в главном каталоге вашего сайта. Есть два преимущества настройки файла robots.txt таким образом.
Во-первых, вы можете быть уверены, что файл сохраняется в нужном месте, что необходимо для обеспечения того, чтобы сканеры поисковой системы могли его найти. Файл также будет назван должным образом, во всех нижних случаях. Это важно, потому что сканеры поисковых систем чувствительны к делу и не распознают файлы с именами, такими как Robots.txt.
Шаг 2: Формат ваш роботы.txt файл
Для того, чтобы эффективно общаться с сканерами поисковых систем, вам нужно убедиться, что ваш файл robots.txt отформатирован правильно. Все файлы robots.txt список «пользователь-агент», а затем «директивы» для этого агента следовать.
Пользователь-агент — это специфический сканер поисковой системы, который вы хотите дать инструкциям. Некоторые общие из них включают в себя: bingbot, googlebot, чавкать (Yahoo), и Яндекс. Директивы – это инструкции, которые вы хотите, чтобы сканеры поисковой системы следовали. Мы уже обсуждали два вида директив в этой должности: запретить и сканировать задержки.
Когда вы кладете эти два элемента вместе, вы получите полный файл robots.txt. Это может быть как короткий, как только две строки. Вот наш собственный файл robots.txt в качестве примера:
Вы можете найти больше примеров, просто набрав в URL сайта следуют /robots.txt (например, example.com/robots.txt).
Другим важным элементом форматирования является«дикая карта». Это символ, используемый для обозначения нескольких сканеров поисковой системы одновременно. В нашем файле robots.txt выше, звездочка (q) выступает за всех пользователей-агентов, так что директивы после него будет применяться к любому боту, который читает их.
Другой широко используемой wild card является символом доллара($ ). Он может стоять в конце URL, и используется для предоставления директив, которые должны применяться ко всем страницам с определенным окончанием URL. Вот buzzFeed в robots.txt файл в качестве примера:
Здесь, сайт использует $ wild card, чтобы заблокировать поисковые системы сканеры из всех файлов .xml. В свой собственный файл robots.txt вы можете включить как можно больше директив, пользовательских агентов и диких карт, как вам нравится, в любой комбинации лучше всего подходит вашим потребностям.
Шаг 3: Используйте команды robots.txt для прямого поиска Ползунки
Теперь, когда вы знаете, как создать и форматировать свой файл robots.txt, вы можете начать давать инструкции поисковым роботам. Есть четыре общие директивы, которые вы можете включить в файл robots.txt:
- Запретить. Сообщает поисковым сканерам не исследовать и индексировать указанную страницу или страницы.
- Разрешить. Позволяет ползать и индексировать субфолители, которые запрещены предыдущей директивой. Эта команда работает только с Googlebot.
- Сканирование Задержка. Инструктирует сканеры поисковой системы ждать определенного периода времени перед загрузкой соответствующей страницы.
- Sitemap. Дает поисковым системам сканеры расположение sitemap, который предоставляет дополнительную информацию,которая поможет ботам сканировать ваш сайт более эффективно. Если вы решите использовать эту директиву, она должна быть размещена в самом конце файла.
Ни одна из этих директив строго не требуется для вашего файла robots.txt. В самом деле, вы можете найти аргументы за или против использования любого из них.
По крайней мере, нет никакого вреда в запрещении ботов от сканирования страниц вы абсолютно не хотите на выдачи и указывая на ваш sitemap. Даже если вы собираетесь использовать другие инструменты для решения некоторых из этих задач, ваш файл robots.txt может предоставить резервную перестановку, чтобы убедиться, что директивы выполняются.
Заключение
Есть много причин, по которым вы можете дать инструкции для поисковых систем сканеров. Если вам нужно скрыть определенные области вашего сайта от выдачи, настроить задержку сканирования, или указать местоположение вашей карты сайта, ваш файл robots.txt может получить работу.
Для создания и отодвинеть ваш файл robots.txt с Yoast SEO, вы хотите:
- Доступ к редактору файлов YOast SEO.
- Формат файла robots.txt.
- Используйте команды robots.txt для прямого сканера поисковой системы.
У вас есть вопросы об использовании robots.txt для улучшения вашего SEO? Спросите прочь в разделе комментариев ниже!
Изображение кредита: Pexels.
Источник: torquemag.io
