Убираем дубли страниц

Приветствую! С введением фильтров, которые налаживаю санкции на страницы с одинаковым контентом, вопрос запрета индексации дублирующих страницах стал перед веб-мастерами ребром. Многие современные системы управления сайтами (попросту движки) автоматически генерируют повторяющиеся страницы, которые видны под разными адресами. Наша задача найти такие страницы и сделать так, чтобы поисковый робот не индексировал [...]