SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt

Артем Абрамович

Меня зовут Артем Абрамович и я являюсь фрилансером-вордпресером. Занимаюсь настройкой и редактированием сайтов созданных на CMS WordPress. Это основная моя специализация, есть еще несколько работ, которыми я занимаюсь, но обо этом вы можете более подробно узнать из моего портфолио.

100 комментариев к “SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt”

  1. У вас точно правильный роботс? посмотрел на других сайтах-там довольно большой список
    Принято считать, что необходимо закрывать поисковым роботам доступ к служебным файлам в папках «wp-content» и «wp-includes». Но, Гугл по этому поводу нам говорит следующее:

    Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

    Ответить
  2. Я малость не по теме, но все же. Я не нарадуюсь вашим плагином шорткодов. Он очень удобен и что немаловажно полезен. А яркая морковка в редакторе радует глаз. Огромное вам спасибо за такой чудесный плагин. Все гениальное просто.

    Ответить
    • Спасибо за отзыв! Рад что вам плагин понравился, вот думаю надо к нему еще какой функционал прикручивать или так оставить? Ну может спойлеры какие или вкладки?

      Ответить
  3. Спасибо, ролик отличный. Могли бы снять ролик про Яндекс вебмастер и почему статьи не индексируется или не в поиске долгое время ((. вот рисунок http://prntscr.com/c9h95f

    Ответить
    • Всегда пожалуйста. По такое ролик записать можно, но смысла не имеет, слишком много факторов могут влиять на индексацию: от контента и тошнотности текстов, до верстки темы и ее семантики.
      Насчет картинки. Вроде есть же в поиска 54 страницы. Это мало или много? Или не те страницы?

      Ответить
    • уже разобрался, у меня Роботс был криво настроен, ролик помог.Респект

      Ответить
  4. Подскажите плиз, как вставить картинку в водпресе чтобы она не перекрывала название сайта. у всех все кликабельно а если я вставляю картинку в шапку-она все перекрывает.

    Ответить
    • Все от темы зависит, многие темы при установке лого отключают показ названия и описания сайта. Сложно сказать как надо сделать в вашем случае

      Ответить
  5. Какой плагин для оптимизации картинок вы можете посоветовать?

    Ответить
    • Не, обзора нет. А функция эт подключается на серевере. Напишите в техподдержку они включат

      Ответить
    • Это что-то вроде удаленной обработки данных, уже точно не помню, но так как сие может влиять на безопасность, то на многих хостингах данный функционал отключают

      Ответить
  6. Вот такое пишет яндекс на адрес роботса от Yoast:

    Sitemape: http://a-pro.kiev.ua/sitemap_index.xml Обнаружена неизвестная директива

    Ответить
    • Это потому что директивы Sitemape не может быть. Для добавления карты сайта для яндекса над использовать директиву Host

      Ответить
    • Артем. Я может чего-то не понял, спец из меня тот еще, но данную строку я взял из описания под Этим роликом. 🙁
      Как указать адрес через HOST: ?

      Ответить
    • Не, все правильно, это я туплю жестко) Вроде все правильно у вас, кроме одного, у вас написано Sitemape а надо Sitemap Одна буква меняет все

      Ответить
  7. https://www.youtube.com/watch?v=xtxuWCzkyL0
    Дополнение по robots.txt, кое-какие вещи все же пересекаются, но есть и уникальные моменты: разбор основных ошибок, приоритет allow и disallow, разбор спецсимволов * и $.

    Ответить
    • Видео на уровне: доступно, интересно и просто. Рекомендую…

      Ответить
  8. а вот Disallow: /*?* она отвечает за посты, за какие? те которые на главной странице блога- новости типо?

    Ответить
    • ТОчно не помню, но похоже, что это исклчение гет запросов из поиска

      Ответить
  9. а можно как то запретить в роботсе ошибку на которую ругается веб мастер ТЕГ image, или как нибудь запретить, но только для яндекса.

    Ответить
    • Нет, не получиться. Это яндекс не понимает тег image, который используется в xml карте сайта, кторую генерирует Yoast. Лечится только сменой плагина для xml карты сайта

      Ответить
  10. Здравствуйте, не могу понять. Создал в Search Console еще один сайт с www когда выбираю без, как основной домен, показывает ошибку что с www не подтвержден. Когда вхожу с www показывает, что без www не подтвержден. Что можно сделать?

    Ответить
    • Добрый день! Ну так и есть, в принципе, в кабинете получаются как-бы 2 сайта, с www и без. Главное чтобы один из них был указан как основной.
      Ну еще может гугл глючить…

      Ответить
  11. Делаю по инструкции, но видимо уже что то поменялось…получается вот так — https://s.mail.ru/9MvX/cs9m2zTfG

    Ответить
    • Все правильно получается. А внешний вид может меняться. Гугл постоянно интерфейс допиливает

      Ответить
  12. Подключил на сайт сертификат. Теперь яндекс пишет «Сервер отвечает редиректом на запрос /robots.txt
    «. Порылся в гуглах нашел такю вещь для .htaccsess

    RewriteEngine On
    RewriteBase /
    RewriteCond %{HTTP:X-HTTPS} !1
    RewriteCond %{REQUEST_URI} !robots.txt
    RewriteRule ^(.*)$ https://tuxrider.ru/$1 [R=301,L]

    но чет по ходу дела не помогает)_ Есть ли что-то что нужно знать про такие моменты?

    Ответить
    • Похоже что редиректы не правильно отрабатывают. Это смотреть надо, так не поймешь

      Ответить
    • WPRUSe · Финты WordPress я поставил галочку на https в пункте «Переезд сайта» в яндексе, вроде перестал ругаться. забавный момент был с информером яндекс, он сидел по тегом http и браузер ругался на безопасность даже при наличии сертификата. пришлось удалить информер.

      Ответить
  13. Здравствуйте!
    Как сделать так, при создании сайта, чтобы зеркало сайта был СРАЗУ ОДИН? Один сайт-один адрес! Чтобы не прибегать РЕДИРЕКТУ 301
    Заранее спасибо!

    Ответить
    • Доброго! Я такого способа не знаю. Если только www использовать и все.

      Ответить
    • При создании сайта, на всех страницах в ручную набирать www ? Или в начале создании сайта, куда-то набрал один раз и она на всех страницах? У меня просто Локальный сервер, никак не проверить.

      Ответить
    • На локалке все делается для одного домена. Тут никакой связи нет.
      Не надо ничего нигде набирать, при регистрации вам дается домен с www. Если вам не нужен без www то просто ничего не делайте и все

      Ответить
  14. Здравствуйте! Я указывал в Search Console свой сайт как в видео вы показали и так же выбрал основным сайт без www. А теперь я перешел с http на https — и так же добавил его, но при выборе главного зеркала мне пишут выберите нужный вариант с www или без, а как выбрать если там не прописано http или https, а просто название моего сайта… может не надо было вообще ничего делать? Либо стоит удалить старые версии сайтов с http? вот скрин что получилось. http://prntscr.com/eiwpp3

    Ответить
    • Доброго! При переходе на https надо еще раз указывать главное зеркало, но уже для сайта c https, должно получиться как бы сайта

      Ответить
  15. Гугл постоянно выдаёт ошибку: При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно. перепробовал всё не знаю что делать( подскажите пожалуйста!

    Ответить
    • Проверяйте правильность добавления карты. В гуглвебмастере для добавления карты достаточно указать только название файла. Полная ссылка не нужна

      Ответить
  16. При добавлении карты гугл выдаёт ошибку: URL, запрещенный файлом robots.txt. Пример файла robots.txt взял у вас под видео. Что там может его блокировать?

    Ответить
  17. Здравствуйте! Какой плагин вы использовали, для создания слайдера на сайте райский остров?

    Ответить
  18. А у меня яндекс вебмастер пишет:
    «Тег viewport не указан
    Отсутствие тега viewport вызывает проблемы с корректным масштабированием сайта под мобильное устройство.»

    Ответить
  19. Здравствуйте. User-agent: * вот это для всех роботов . даже если он будет один , его и гуглы и яндекс роботы будут искать User-agent: Googlebot один из роботов гугла

    Ответить
    • Доброго! Верно, только правила все же желательно прописывать раздельно

      Ответить
  20. При добавлении карты гугл выдаёт ошибку: URL, запрещенный файлом robots.txt. Пример файла robots.txt взял у вас под видео. Что там может его блокировать?

    Ответить
  21. Добрый вечер Артём. У меня такой вот вопрос по теме. Создали сайт, установили ssl сертиффикат. Сайт стал с «s», то есть https:// И вот значит добавляем сайты https:// и https:// www. в Search Console гугла. Пытаемся выбрать основное зеркало, которое без www, а гугл говорит, что нет такого сайта. Что же делать? Добавлем ещё два сайта, только без «s» — http:// и http:// www. Когда уже 4 версии сайта добавлено, гугл главную версию без www выбирает без проблем. Но по логике вещей вручную меняя главное зеркало, мы включаем его без «s», то есть http:// , потому как, пока еще http:// добавлен не был, гугл вообще не позволял выбрать главное зеркало. Вот и вопрос — как сделать главным зеркалом именно с ssl сертификатом, то есть https://

    Ответить
    • Добрый! Все верно, должно получиться в итоге 4 сайта, потом нужный указывается как главное зеркало. Вот статья https://really-simple-ssl.com/knowledge-base/how-to-setup-google-analytics-and-google-search-consolewebmaster-tools/ на английском правда, но там и так понятно

      Ответить
  22. Долго не могла разобраться как работать с robots.txt ,пока не нашла эту статью https://ifish2.ru/fail-robots-txt-chto-eto-takoe/ .
    Эти ребята помогли мне разобраться с файлом и даже помогли исправить мои ошибки!! Теперь мой сайт работает как надо))

    Ответить
  23. Чёт так и не понял, зеркала для сайта только для гугла добавлять или для яндекса тоже?

    Ответить
  24. Спасибо большое, за Ваш канал! Подскажите, пожалуйста, почему до настроек описанных в этом видео яндекс видел наш сайт, а теперь не видит?? Что может быть не так, где проверить???

    Ответить
    • Пожалуйста! Хороший вопрос. Не знаю. Может вы в роботсе сайт закрыли для индексации, потому и нет ничего. Проверяйте роботс

      Ответить
  25. Здравствуйте.
    Скажите,если в All in One WP менял стандартную «wp-admin» на «wp-измененный»,нужно ли в Роботсе заменять ?
    Заранее спасибо.

    Ответить
    • Доброго! Нет не надо, роботс к этому никакого отношения не имеет

      Ответить
  26. Доброго времени суток, делаю как показано в видео с зеркалом сайта а выходит вот такая ошибка, где кроется проблема, скажите пожалуста Недействительный URL ресурса. Укажите URL сайта или каталога, а не страницы.

    Ответить
    • Доброго! Может урл не верно указываете. В гуге и яндексе по разному надо указывать, где-то с http где-то без

      Ответить
  27. Здравствуйте.
    Скажите,пожалуйста,как называются файлы,в которых писать мета роботс для каждой страницы,смотрел в справке от гугл и не нашёл ?
    В Yoast, как понял, этого не сделать.

    Ответить
  28. Добрый вечер, подскажите пожалуйста, карту XTML зеркалу сайта тоже добавлять?который www

    Ответить
    • Добрый! Не, не надо, достаточно в основном зеркале указать

      Ответить
  29. КАК ЖЕ Я ЗАИБ…. ПОДТВЕРДИЛА УЖЕ 100 РАЗ ДВУМЯ РАЗНЫМИ СПОСОБАМИ, НО ПРИ НАЗНАЧЕНИИ ДОМЕНА ВСЕ РАВНО ПИШЕТ «Процедура назначения основного домена предполагает проверку вашего права собственности на домен http://www.buchy.ru/. Подтвердите право собственности на домен http://www.buchy.ru/.» Я СЕЙЧАС ПРОСТО БУДУ ПЛАКАТЬ. ПОЧЕМУ НЕ ПОЛУЧАЕТСЯ ЕСЛИ ОБА САЙТА ПОДТВЕРЖДЕНЫ*??? ИЛИ Я ДУРА…НО Я НЕ ДУРА! ИЛИ Я ТОГДА ВООБЩЕ НЕ ПОНИМАЮ. ПРОСТО КРИК ДУШИ!

    Ответить
    • Не надо плакать, и кричать так не надо. Где вы домен подтверждаете? Гугл, яндекс?

      Ответить
    • Здравствуйте! Спасибо, что откликнулись. Я подтверждаю сайт на гугле и у меня ничего не получается! Постоянно пишет подтвердите право собственности…

      Ответить
    • Проще будет выяснить в чем проблема, через личку. Но предположу, что вы просто что-то не так делаете. Излагайте алгоритм, попробуем разобраться

      Ответить
    • Спасибо большое за ваши ответы и ваши видео, я поняла свою ошибку! Ниже моих комментариев есть Ник Иванов, если раззуть глаза и почитать, то все становится на свои места, у меня была аналогичная ситуация! Все получилось и значит я не дура и не такой уж чайник.Спасибо вам за ваше безграничное терпение и ваши незаменимые видео, удачи вам!

      Ответить
  30. Как внести изменения в robots.txt, если у меня Yoast, но там больше нет редактора файлов в разделе?

    Ответить
    • С чего бы нет? Все там есть раздел Инструменты — Редактирование файлов. Если нет, значит у вас закрыто такое редактирование файлов. Можно просто через фтп изменять

      Ответить
    • а что значит у меня закрыто, а у вас нет? я по вашему ролику ставила Yoast, но у меня нет такого раздела. может yoast в новой версии поменялся? я совсем совсемновичок и как через фтп менять я не знаю как да и стремно лезть туда… в разделе инструменты в Yoast суйчас есть только экспорт и импорт и групповой редактор, редактора файлов там больше нет. есть ли возможность открыть редактирование файлов в Yoast?

      Ответить
  31. ПОДСКАЖИТЕ КТО-ТО… ЯНДЕКС РУГАЕТСЯ НА МОЕГО РОБОТА, ВОТ ОШИБКА: Результаты анализа robots.txt
    Строки Текст Ошибка
    5 User-agent: * Найдено несколько правил вида ‘User-agent: *’
    МОЖЕТ КТО ПОДСКАЖЕТ, ЧТО ОН ХОЧЕТ?

    Ответить
    • Ну вот же
      Найдено несколько правил вида ‘User-agent:

      Значит слишком много таких правил
      Надо просто удалить лишние

      Ответить
  32. Умоляю подскажите!!!Процедура назначения основного домена предполагает проверку вашего права собственности на домен http://powercut.com.ua/. Подтвердите право собственности на домен http://powercut.com.ua/. У меня http://www.powercut.com.ua
    При добавлении сайта powercut.com.ua без www
    Размещение HTML-файла на сервере
    Уже проверено с помощью этого способа.Я скачиваю файлик для корня,а он тот же

    Ответить
    • Это нормально, просто нажмите Подтвердить и все, файл и должен быть тем же

      Ответить

Добавить комментарий