Может показаться странным, зачем нам запрещать индексацию страницы поисковыми роботами, если цель и мечта каждого вебмастера — индексация всех страниц его сайта всеми возможными поисковиками.
Однако это только вначале, когда сайт только создается и начинает развиваться. Со временем же планы меняются, появляются новые идеи, в связи с чем некоторые страницы сайта, хотя и продолжают свое существование, приходится «спрятать» от поисковых систем. Нет, на самом деле они их видят, а вот индексировать и отображать их в поисковой выдаче прекращают.
В каком конкретно случае это может понадобиться?
Приведу пример из собственной практики. Был у меня сайт на бесплатном хостинге, с бесплатным доменом третьего уровня. Сайт вышел на хорошие позиции — и посещаемость хорошая, и ТИц 20. И лишь когда я начал конкретно заниматься монетизацией сайта, я понял, что все мои труды были практически напрасными. Единственное, что могло приносить мне доход с этого сайта, — рекламные блоки Гугл Адсенс.
Я сделал ход конем — прикрепил к этому сайту свой домен в зоне .ru и стал ждать. Через время поисковики переиндексировали сайт, и он начал выдаваться по новому домену. Тогда я перенес сайт на платный хостинг. На бесплатном я не стал удалять файлы, так как много посетителей приходило по старому адресу по ссылкам с различных ресурсов.
Чтобы не испортить картину, в мета-тегах всех страниц я прописал запрет на индексацию и переадресовал все страницы старого сайта на новый домен.
Почему пришлось воспользоваться запретом индексации страниц именно через мета-теги, а не через Robots.txt? Дело в том, что некоторые бесплатные хостинги, такие как, например, Юкоз, не дают пользователю доступ к этому документу. Поэтому единственный выход в таком случае — запретить роботам индексировать страницы сайта через мета-теги.
А теперь, собственно, расскажу, как легко и просто сделать то, о чем я писал выше.
Чтобы поисковики не индексировали одну или несколько страниц вашего сайте, в хедере, между тегами <head></head>, нужно прописать следующий мета-тег:
<meta name="robots" content="noindex">
Такую рекомендацию дает сам Гугл. Некоторые веб-мастера рекомендуют дополнить эту запись:
<meta name="robots" content="noindex,nofollow">
Еще один вариант мета-тега, запрещающего индексирование страницы поисковыми роботами:
<meta name="robots" content="none">
Эта запись эквивалента двум предыдущим.
И все же я считаю, что нужно прислушиваться к тому, что рекомендуют сами поисковые системы. Так, Гугл на странице «Запрещение индексации с помощью мета-тегов» рекомендует запись, которую я привел первой. Поэтому сам поступаю именно так — прописываю запрещающий мета-тег в таком виде (см. выше).