SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt

Артем Абрамович

Меня зовут Артем Абрамович и я являюсь фрилансером-вордпресером. Занимаюсь настройкой и редактированием сайтов созданных на CMS WordPress. Это основная моя специализация, есть еще несколько работ, которыми я занимаюсь, но обо этом вы можете более подробно узнать из моего портфолио.

100 комментариев к “SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt”

  1. У вас точно правильный роботс? посмотрел на других сайтах-там довольно большой список
    Принято считать, что необходимо закрывать поисковым роботам доступ к служебным файлам в папках “wp-content” и “wp-includes”. Но, Гугл по этому поводу нам говорит следующее:

    Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

    Ответить
  2. Я малость не по теме, но все же. Я не нарадуюсь вашим плагином шорткодов. Он очень удобен и что немаловажно полезен. А яркая морковка в редакторе радует глаз. Огромное вам спасибо за такой чудесный плагин. Все гениальное просто.

    Ответить
    • Спасибо за отзыв! Рад что вам плагин понравился, вот думаю надо к нему еще какой функционал прикручивать или так оставить? Ну может спойлеры какие или вкладки?

      Ответить
  3. Спасибо, ролик отличный. Могли бы снять ролик про Яндекс вебмастер и почему статьи не индексируется или не в поиске долгое время ((. вот рисунок http://prntscr.com/c9h95f

    Ответить
    • Всегда пожалуйста. По такое ролик записать можно, но смысла не имеет, слишком много факторов могут влиять на индексацию: от контента и тошнотности текстов, до верстки темы и ее семантики.
      Насчет картинки. Вроде есть же в поиска 54 страницы. Это мало или много? Или не те страницы?

      Ответить
    • уже разобрался, у меня Роботс был криво настроен, ролик помог.Респект

      Ответить
  4. Подскажите плиз, как вставить картинку в водпресе чтобы она не перекрывала название сайта. у всех все кликабельно а если я вставляю картинку в шапку-она все перекрывает.

    Ответить
    • Все от темы зависит, многие темы при установке лого отключают показ названия и описания сайта. Сложно сказать как надо сделать в вашем случае

      Ответить
  5. Какой плагин для оптимизации картинок вы можете посоветовать?

    Ответить
    • Это потому что директивы Sitemape не может быть. Для добавления карты сайта для яндекса над использовать директиву Host

      Ответить
    • Артем. Я может чего-то не понял, спец из меня тот еще, но данную строку я взял из описания под Этим роликом. 🙁
      Как указать адрес через HOST: ?

      Ответить
    • Не, все правильно, это я туплю жестко) Вроде все правильно у вас, кроме одного, у вас написано Sitemape а надо Sitemap Одна буква меняет все

      Ответить
  6. https://www.youtube.com/watch?v=xtxuWCzkyL0
    Дополнение по robots.txt, кое-какие вещи все же пересекаются, но есть и уникальные моменты: разбор основных ошибок, приоритет allow и disallow, разбор спецсимволов * и $.

    Ответить
    • Видео на уровне: доступно, интересно и просто. Рекомендую…

      Ответить
  7. а вот Disallow: /*?* она отвечает за посты, за какие? те которые на главной странице блога- новости типо?

    Ответить
    • ТОчно не помню, но похоже, что это исклчение гет запросов из поиска

      Ответить
  8. а можно как то запретить в роботсе ошибку на которую ругается веб мастер ТЕГ image, или как нибудь запретить, но только для яндекса.

    Ответить
    • Нет, не получиться. Это яндекс не понимает тег image, который используется в xml карте сайта, кторую генерирует Yoast. Лечится только сменой плагина для xml карты сайта

      Ответить
  9. Здравствуйте, не могу понять. Создал в Search Console еще один сайт с www когда выбираю без, как основной домен, показывает ошибку что с www не подтвержден. Когда вхожу с www показывает, что без www не подтвержден. Что можно сделать?

    Ответить
    • Добрый день! Ну так и есть, в принципе, в кабинете получаются как-бы 2 сайта, с www и без. Главное чтобы один из них был указан как основной.
      Ну еще может гугл глючить…

      Ответить
    • Все правильно получается. А внешний вид может меняться. Гугл постоянно интерфейс допиливает

      Ответить
  10. Подключил на сайт сертификат. Теперь яндекс пишет “Сервер отвечает редиректом на запрос /robots.txt
    “. Порылся в гуглах нашел такю вещь для .htaccsess

    RewriteEngine On
    RewriteBase /
    RewriteCond %{HTTP:X-HTTPS} !1
    RewriteCond %{REQUEST_URI} !robots.txt
    RewriteRule ^(.*)$ https://tuxrider.ru/$1 [R=301,L]

    но чет по ходу дела не помогает)_ Есть ли что-то что нужно знать про такие моменты?

    Ответить
    • Похоже что редиректы не правильно отрабатывают. Это смотреть надо, так не поймешь

      Ответить
    • WPRUSe · Финты WordPress я поставил галочку на https в пункте “Переезд сайта” в яндексе, вроде перестал ругаться. забавный момент был с информером яндекс, он сидел по тегом http и браузер ругался на безопасность даже при наличии сертификата. пришлось удалить информер.

      Ответить
  11. Здравствуйте!
    Как сделать так, при создании сайта, чтобы зеркало сайта был СРАЗУ ОДИН? Один сайт-один адрес! Чтобы не прибегать РЕДИРЕКТУ 301
    Заранее спасибо!

    Ответить
    • Доброго! Я такого способа не знаю. Если только www использовать и все.

      Ответить
    • При создании сайта, на всех страницах в ручную набирать www ? Или в начале создании сайта, куда-то набрал один раз и она на всех страницах? У меня просто Локальный сервер, никак не проверить.

      Ответить
    • На локалке все делается для одного домена. Тут никакой связи нет.
      Не надо ничего нигде набирать, при регистрации вам дается домен с www. Если вам не нужен без www то просто ничего не делайте и все

      Ответить
  12. Здравствуйте! Я указывал в Search Console свой сайт как в видео вы показали и так же выбрал основным сайт без www. А теперь я перешел с http на https – и так же добавил его, но при выборе главного зеркала мне пишут выберите нужный вариант с www или без, а как выбрать если там не прописано http или https, а просто название моего сайта… может не надо было вообще ничего делать? Либо стоит удалить старые версии сайтов с http? вот скрин что получилось. http://prntscr.com/eiwpp3

    Ответить
    • Доброго! При переходе на https надо еще раз указывать главное зеркало, но уже для сайта c https, должно получиться как бы сайта

      Ответить
  13. Гугл постоянно выдаёт ошибку: При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно. перепробовал всё не знаю что делать( подскажите пожалуйста!

    Ответить
    • Проверяйте правильность добавления карты. В гуглвебмастере для добавления карты достаточно указать только название файла. Полная ссылка не нужна

      Ответить
  14. При добавлении карты гугл выдаёт ошибку: URL, запрещенный файлом robots.txt. Пример файла robots.txt взял у вас под видео. Что там может его блокировать?

    Ответить
  15. Здравствуйте! Какой плагин вы использовали, для создания слайдера на сайте райский остров?

    Ответить
  16. А у меня яндекс вебмастер пишет:
    “Тег viewport не указан
    Отсутствие тега viewport вызывает проблемы с корректным масштабированием сайта под мобильное устройство.”

    Ответить
  17. Здравствуйте. User-agent: * вот это для всех роботов . даже если он будет один , его и гуглы и яндекс роботы будут искать User-agent: Googlebot один из роботов гугла

    Ответить
    • Доброго! Верно, только правила все же желательно прописывать раздельно

      Ответить
  18. При добавлении карты гугл выдаёт ошибку: URL, запрещенный файлом robots.txt. Пример файла robots.txt взял у вас под видео. Что там может его блокировать?

    Ответить
  19. Добрый вечер Артём. У меня такой вот вопрос по теме. Создали сайт, установили ssl сертиффикат. Сайт стал с “s”, то есть https:// И вот значит добавляем сайты https:// и https:// www. в Search Console гугла. Пытаемся выбрать основное зеркало, которое без www, а гугл говорит, что нет такого сайта. Что же делать? Добавлем ещё два сайта, только без “s” – http:// и http:// www. Когда уже 4 версии сайта добавлено, гугл главную версию без www выбирает без проблем. Но по логике вещей вручную меняя главное зеркало, мы включаем его без “s”, то есть http:// , потому как, пока еще http:// добавлен не был, гугл вообще не позволял выбрать главное зеркало. Вот и вопрос – как сделать главным зеркалом именно с ssl сертификатом, то есть https://

    Ответить
  20. Долго не могла разобраться как работать с robots.txt ,пока не нашла эту статью https://ifish2.ru/fail-robots-txt-chto-eto-takoe/ .
    Эти ребята помогли мне разобраться с файлом и даже помогли исправить мои ошибки!! Теперь мой сайт работает как надо))

    Ответить
  21. Чёт так и не понял, зеркала для сайта только для гугла добавлять или для яндекса тоже?

    Ответить
  22. Спасибо большое, за Ваш канал! Подскажите, пожалуйста, почему до настроек описанных в этом видео яндекс видел наш сайт, а теперь не видит?? Что может быть не так, где проверить???

    Ответить
    • Пожалуйста! Хороший вопрос. Не знаю. Может вы в роботсе сайт закрыли для индексации, потому и нет ничего. Проверяйте роботс

      Ответить
  23. Здравствуйте.
    Скажите,если в All in One WP менял стандартную “wp-admin” на “wp-измененный”,нужно ли в Роботсе заменять ?
    Заранее спасибо.

    Ответить
    • Доброго! Нет не надо, роботс к этому никакого отношения не имеет

      Ответить
  24. Доброго времени суток, делаю как показано в видео с зеркалом сайта а выходит вот такая ошибка, где кроется проблема, скажите пожалуста Недействительный URL ресурса. Укажите URL сайта или каталога, а не страницы.

    Ответить
    • Доброго! Может урл не верно указываете. В гуге и яндексе по разному надо указывать, где-то с http где-то без

      Ответить
  25. Здравствуйте.
    Скажите,пожалуйста,как называются файлы,в которых писать мета роботс для каждой страницы,смотрел в справке от гугл и не нашёл ?
    В Yoast, как понял, этого не сделать.

    Ответить
  26. Добрый вечер, подскажите пожалуйста, карту XTML зеркалу сайта тоже добавлять?который www

    Ответить
    • Добрый! Не, не надо, достаточно в основном зеркале указать

      Ответить
  27. КАК ЖЕ Я ЗАИБ…. ПОДТВЕРДИЛА УЖЕ 100 РАЗ ДВУМЯ РАЗНЫМИ СПОСОБАМИ, НО ПРИ НАЗНАЧЕНИИ ДОМЕНА ВСЕ РАВНО ПИШЕТ “Процедура назначения основного домена предполагает проверку вашего права собственности на домен http://www.buchy.ru/. Подтвердите право собственности на домен http://www.buchy.ru/.” Я СЕЙЧАС ПРОСТО БУДУ ПЛАКАТЬ. ПОЧЕМУ НЕ ПОЛУЧАЕТСЯ ЕСЛИ ОБА САЙТА ПОДТВЕРЖДЕНЫ*??? ИЛИ Я ДУРА…НО Я НЕ ДУРА! ИЛИ Я ТОГДА ВООБЩЕ НЕ ПОНИМАЮ. ПРОСТО КРИК ДУШИ!

    Ответить
    • Не надо плакать, и кричать так не надо. Где вы домен подтверждаете? Гугл, яндекс?

      Ответить
    • Здравствуйте! Спасибо, что откликнулись. Я подтверждаю сайт на гугле и у меня ничего не получается! Постоянно пишет подтвердите право собственности…

      Ответить
    • Проще будет выяснить в чем проблема, через личку. Но предположу, что вы просто что-то не так делаете. Излагайте алгоритм, попробуем разобраться

      Ответить
    • Спасибо большое за ваши ответы и ваши видео, я поняла свою ошибку! Ниже моих комментариев есть Ник Иванов, если раззуть глаза и почитать, то все становится на свои места, у меня была аналогичная ситуация! Все получилось и значит я не дура и не такой уж чайник.Спасибо вам за ваше безграничное терпение и ваши незаменимые видео, удачи вам!

      Ответить
  28. Как внести изменения в robots.txt, если у меня Yoast, но там больше нет редактора файлов в разделе?

    Ответить
    • С чего бы нет? Все там есть раздел Инструменты – Редактирование файлов. Если нет, значит у вас закрыто такое редактирование файлов. Можно просто через фтп изменять

      Ответить
    • а что значит у меня закрыто, а у вас нет? я по вашему ролику ставила Yoast, но у меня нет такого раздела. может yoast в новой версии поменялся? я совсем совсемновичок и как через фтп менять я не знаю как да и стремно лезть туда… в разделе инструменты в Yoast суйчас есть только экспорт и импорт и групповой редактор, редактора файлов там больше нет. есть ли возможность открыть редактирование файлов в Yoast?

      Ответить
  29. ПОДСКАЖИТЕ КТО-ТО… ЯНДЕКС РУГАЕТСЯ НА МОЕГО РОБОТА, ВОТ ОШИБКА: Результаты анализа robots.txt
    Строки Текст Ошибка
    5 User-agent: * Найдено несколько правил вида ‘User-agent: *’
    МОЖЕТ КТО ПОДСКАЖЕТ, ЧТО ОН ХОЧЕТ?

    Ответить
    • Ну вот же
      Найдено несколько правил вида ‘User-agent:

      Значит слишком много таких правил
      Надо просто удалить лишние

      Ответить
  30. Умоляю подскажите!!!Процедура назначения основного домена предполагает проверку вашего права собственности на домен http://powercut.com.ua/. Подтвердите право собственности на домен http://powercut.com.ua/. У меня http://www.powercut.com.ua
    При добавлении сайта powercut.com.ua без www
    Размещение HTML-файла на сервере
    Уже проверено с помощью этого способа.Я скачиваю файлик для корня,а он тот же

    Ответить
    • Это нормально, просто нажмите Подтвердить и все, файл и должен быть тем же

      Ответить

Добавить комментарий

%d такие блоггеры, как: