Noindex и nofollow - как исключить страницы из поиска Google?

Индексирование большого количества страниц в поисковых системах очень заманчиво для многих начинающих владельцев собственных сайтов.

Особенно если это новые сайты, и мы пытаемся как можно быстрее улучшить позиции нашего сайта.

Хотя это правда, что, публикуя больше страниц, релевантных заданному ключевому слову (при условии, что они также хорошего качества), мы способствуем улучшению позиции в рейтинге по выбранным ключевым фразам, иногда лучше держать некоторые страницы подальше от индекса поисковых систем.

Почему?

Я сейчас все объясню. В этой записи будут показаны некоторые ситуации, в которых лучше удалить данную подстраницу из индекса поисковой системы, и как именно это выглядит с технической точки зрения.

Почему вы должны исключить из индекса определенные подстраницы вашего сайта?

Существует ряд случаев, когда подстраница должна быть исключена из поисковой системы.

Основная причина использования noindex и nofollow - предотвращение индексации дублированного контента (ситуация, когда один и тот же текст находится на двух разных страницах).

Еще одна веская причина?

Например, подстраница благодарности. Обычно пользователь может увидеть его сразу после загрузки вашей электронной книги или подписки на рассылку.

Как владелец сайта, вы хотите, чтобы пользователь перешел на ваш сайт только в том случае, если он совершит какое-либо действие, например, подпишется на рассылку новостей. Вам не нужны прямые переходы из поисковой системы на страницы благодарности.

Почему?

Простой пример - если вы измеряете конверсии с помощью такой страницы, вы получите ложную информацию, потому что кто-то может зайти на такую подстраницу прямо из поисковой системы.

Другим примером может быть возможность скачать бесплатную электронную книгу в обмен на заполнение формы. После правильного завершения пользователь перенаправляется на подстраницу с благодарностью, где есть ссылка на обещанную электронную книгу.

Теперь представьте, что любой может попасть на эту подстраницу, набрав в поисковой системе фразу "e-book positioning".

На вашей подстранице появится благодарность и ссылка. Пользователь получил то, что хотел, а вы остались без информации и желанной электронной почты.

Кроме того, вы можете обнаружить, что подстраница с благодарностями занимает первое место в поисковой выдаче по вашему главному ключевому слову. В результате вы снова теряете множество незаполненных форм и информации.

Это довольно важные причины для использования тегов noindex и nofollow.

Итак, как отключить индексацию нежелательных страниц?

Есть два способа, поэтому перейдем к следующему пункту.

Способы не индексировать выбранные подстраницы сайта

1. Прикрепите файл robots.txt к вашему сайту.

Используйте файл robots.txt (прежде чем продолжить, я советую вам прочитать статью по ссылке), если вы хотите иметь больший контроль над тем, что должно быть проиндексировано, а что нет.

Внимание: если у вас нет базовых технических знаний, воспользуйтесь советом опытного специалиста, так как неправильная настройка файла robots.txt может полностью "отрезать" ваш сайт от любой поисковой системы.

В связи с этим одним из способов удаления конкретной подстраницы из результатов поиска является создание и добавление на ваш сайт файла robots.txt.

Преимущество этого метода заключается в том, что вы можете получить полный контроль над тем, что появляется в поисковой системе.

Внутри файла robots.txt вы сможете указать, хотите ли вы блокировать индексирующих роботов или нет.

Существует ряд правил. Вы можете исключить одну подстраницу, например, страницу благодарности, заблокировать весь каталог или даже избавиться от индексации одного изображения.

Недавно я также столкнулся с правилом, которое гласит, что вы не должны индексировать подстраницу, если Google AdSense еще не работает на данном сайте.

Если у вас нет технических знаний и вам не нужен полный контроль над тем, что появляется в результатах поисковых систем, есть гораздо более простой способ.....

2. Добавьте теги noindex и nofollow к рассматриваемой подстранице.

Используйте теги noindex и nofollow как более простое решение для исключения нежелательной подстраницы из результатов поисковых систем.

Использование метатегов для предотвращения появления выбранной подстраницы является эффективным и простым.

На самом деле, это простое "копирование/вставка", если вы используете подходящую систему управления контентом (CMS).

Теги, которые позволят вам это сделать, называются noindex и nofollow.

Прежде чем объяснить, как правильно использовать noindex и nofollow, я объясню различия между этими двумя тегами.

Они выглядят похоже, но это две совершенно разные директивы. Их можно использовать вместе или по отдельности, но что они означают на самом деле?

Что такое тег noindex?

Когда вы добавляете тег noindex на веб-страницу, вы сообщаете поисковой системе, что она может индексировать эту страницу, но ни при каких обстоятельствах не может добавить ее в результаты поиска.

Что такое тег nofollow?

Когда вы добавляете тег nofollow на веб-страницу, вы запрещаете поисковым системам индексировать ссылки на этой странице. Это также означает, что авторитет страницы (авторитет страницы) не будет передан ни одной ссылке, которая находится на этой странице.

В связи с этим любые ссылки на странице с директивой 'nofollow' будут игнорироваться Google и другими поисковыми системами.

Когда использовать noindex и nofollow вместе, а когда по отдельности?

Вы можете использовать тег noindex отдельно или в сочетании с nofollow. Это правило также относится к директиве nofollow.

Добавьте один тег noindex, когда вы хотите, чтобы поисковая система не индексировала определенную подстраницу. Помните, что страница с директивой noindex будет исследована по всей длине и ширине страницы в поисках ссылок и получит часть своей силы от авторитетности подстраницы.

Добавьте один тег nofollow, когда вы хотите проиндексировать определенную подстраницу, но не хотите передавать авторитет подстраницы всем ссылкам на этой подстранице.

Существует не так много примеров добавления nofollow ко всей подстранице без одновременного добавления тега noindex.

Когда вы думаете о том, что добавить на ту или иную подстраницу, это скорее вопрос о том, что добавить: noindex или noindex и nofollow.

Добавьте тег noindex и nofollow, если вы не хотите, чтобы поисковая система индексировала выбранную подстраницу и передавала силу авторитета ссылкам внутри нее.

Страницы благодарности за подписку или заполненную форму - идеальные примеры такого рода ситуаций. Вы не хотите, чтобы браузеры индексировали такую подстраницу, и не хотите, чтобы они знали о ссылках, ведущих с нее на конкретное предложение или, например, на ссылку на электронную книгу.

Как использовать теги noindex и nofollow?

Шаг 1: Скопируйте приведенный ниже код:

Для "noindex":

<META NAME="robots" CONTENT="noindex">

Для "nofollow":

<META NAME="robots" CONTENT="nofollow">

Для "noindex и nofollow":

<META NAME="robots" CONTENT="noindex,nofollow">

Шаг 2: Добавьте приведенный выше код в раздел head вашей подстраницы, которую вы хотите исключить.

Если вы используете WordPress, самый простой способ - установить плагин Yoast SEO:

Если вы еще не знаете, что такое плагин Yoast SEO, приглашаю вас ознакомиться с нашей статьей о том, как оптимизировать пост с помощью плагина Yoast SEO. Если ваш сайт - это чистый HTML, то, к сожалению, все будет не так просто. Вам нужен доступ к хостингу или FTP.

Обратите внимание, что код должен быть размещен где-то между тегами <head> и </head>.

H2 hocus pocus, hocus mary - ваши подстраницы исчезли

Ваши исключенные подстраницы больше не будут появляться в результатах поисковых систем. Теперь вы можете снова приступить к захвату потерянных писем и ценной информации.

При этом следует помнить, что внесенные вами изменения будут видны не сразу. Это может занять даже несколько недель.

В связи с этим лучшим способом отслеживания изменений в индексе является изучение статистики в Google Search Console.

Если вы заметили, что выбранная вами страница по-прежнему отображается в результатах поиска, скорее всего, робот Google еще не посетил ваш сайт или директивы noindex и nofollow были использованы неправильно.