Ранее на этой неделе, Google объявила, что они больше не будут поддерживать noindex директивы, найденные в robots.txt файлов. Они перечислили несколько альтернативных методов, чтобы сохранить ваш сайт незарегистрированным,но мы слышали, что robots.txt не принимает новости хорошо.
Источник: torquemag.io
