Отличия закрытия индексации через robots.txt и meta. Как убрать дубли и не «сломать» Google Adsense

Суббота, 26 Мар 2011 14:32
Рубрика: SEO

Отличия закрытия индексации через robots и meta. Как закрыть дубли и не сломать Adsense

Отличия закрытия индексации через robots.txt и meta. Как закрыть дубли и не сломать Adsense

На одном из своих сайтов я заметил неожиданную картину: рекламный код Google Adsense не выводил никаких объявлений на страницах меток. Где-то третьей мыслью я вспомнил о том, что несколькими днями ранее я избавлялся на этом сайте от дублей, перекрывая индексацию страниц категорий и тегов. Примечательно было то, что на страницах категорий рекламный код Google Adsense отображался прекрасно, в то время как на всех страницах тегов он исчез. Оказывается, здесь сыграл роль способ перекрытия индексации страниц.

Страницы категорий я закрыл при помощи плагина All in One SEO Pack директивой <meta name="robots" content="noindex,follow" />, которая говорит о том, что данную страницу не следует индексировать (noindex), однако пауки могут переходить по всем ссылкам на ней (follow) с целью дальнейшей индексации содержимого сайта.

Страницы тегов я перекрыл одновременно и через All in One SEO Pack этой же директивой, и через файл robots.txt строчкой Disallow: /tag для всех типов роботов. И вот как раз этот способ и показывает не с первого раза приходящую на ум особенность или, если хотите, отличие этих двух способов перекрытия. Дело в том, что закрытие индексации через meta-теги воспринимается лишь роботами, отвечающими непосредственно за индексацию содержимого для поисковой выдачи, к которым бот Google Adsense, видимо, не относится, а потому он спокойно игнорирует эту директиву, индексирует контент и может показывать релевантные ему объявления. При этом страницы не окажется в Индексе ПС Google, однако она будет проиндексирована ботом Adsense, что необходимо для работы его рекламных кодов на данных страницах. В то же время, если собираетесь закрыть индексации через robots.txt, нужно быть очень осторожным. Весь здесь директива User-agent: * и все, что последует за ней, будет относиться уже абсолютно ко всем роботам, в т.ч. и индексатору непосредственно Google Adsense, а запретить ему индексировать контент означает по сути лишить его возможности выводить релевантные тексту страницы объявления, т.е. по факту выключить код Google Adsense на этих страницах. Именно это я по неопытности и сделал.

Как убрать дубли и не сломать Google Adsense

1. Закрываем индексацию с помощью <meta name="robots" content="noindex,follow" /> и никаких проблем с кодом Google Adsense.

2. Если все же решили закрыть индексацию через robots.txt, то здесь потребуется отдельно разрешить индексировать контент боту Google Adsense. Зовут его Mediapartners-Google. В общем случае хороший robots.txt будет выглядеть примерно так:

User-agent: Yandex
Disallow: /cgi-bin
...
Host: site.ru

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /cgi-bin
...


Sitemap: http://site.ru/sitemap.xml

Здесь мы в начале задаем запрет на индексацию определенных файлов и папок отдельно для Яндекса, чтобы в конце его индивидуального блока директив явно указать ему host (основное зеркало сайта, которое может быть либо с www, либо без), далее разрешаем индексацию всего и вся боту Google Adsense, чтобы рекламные блоки Adsense работали на всех страницах сайта, и в конце запрещаем к индексации файлы и директории всем-всем остальным ботам.

Кстати, если вам понадобится задать индивидуальные настройки еще для каких-нибудь ботов Google, то полный перечень их «имен» можно найти здесь.

Завтра я расскажу о 4х способах гибкого управления индексацией страниц сайта на примере WordPress CMS.

http://blogto4ka.ru

RSS комментариев

2 комментария Упоминаний: 1 Комментировать

  1. Tourist пишет:

    03 Сен 2013 в 13:31 Reply to this comment

    1

    Добрый день, актуален вопрос закрытия от индексации страницы. Закрыла ее и в тегах All in One seopack, и в роботсе, и ссылку на секретную страницу тоже обставила тегами noinex nofollow. Вопрос теперь в другом — как убрать из sitemap мою секретную страницу, если sitemap формируется плагином вордпресс? Гуглу не понравилось, что всаймэпе есть закрытая страница, как его успокоить?))

  2. nikolas_ sharp пишет:

    03 Сен 2013 в 14:25 Reply to this comment

    2

    @Tourist, можно потратить несколько лет на изучение программирования и затем самостоятельно дописать плагин sitemap'a, можно попробовать подобрать альтернативу плагина sitemap'a, чтобы тот учитывал noindex/nofollow, можно заказать кому-то что-то из вышеперечисленного. Можно закрыть глаза на то, что Google это не понравилось. Ни напрямую, ни косвенно подобное недоразумение никоим образом на ранжирование вашего сайта не влияет.

Оставьте свой комментарий о материале
(Комментарии со ссылками попадают на модерацию. Остальные не попадают, но я могу удалять те, которые посчитаю бесполезными, не несущими смысловой нагрузки)