Отличия закрытия индексации через robots.txt и meta. Как закрыть дубли и не сломать Adsense

На одном из своих сайтов я заметил неожиданную картину: рекламный код Google Adsense не выводил никаких объявлений на страницах меток. Где-то третьей мыслью я вспомнил о том, что несколькими днями ранее я избавлялся на этом сайте от дублей, перекрывая индексацию страниц категорий и тегов. Примечательно было то, что на страницах категорий рекламный код Google Adsense отображался прекрасно, в то время как на всех страницах тегов он исчез. Оказывается, здесь сыграл роль способ перекрытия индексации страниц.

Читать полностью »