Дубли контента на сайте влечет целый ряд проблем. В этой статье мы подробно разберем причины дублей, поговорим об их влияние на сайте, выясним как обнаружить и исправить дублирование контента.
Что такое дублированный контент?
Дубли – это страницы, которые либо полностью совпадают друг с другом, либо частично. И те, и другие негативно влияют на сайт. Далее поговорим какой именно вред несут дубли страниц.
Чем опасен дублированный контент
Ухудшение индексации
При индексации сайта расходуется краулинговый бюджет. При большом количестве дублей краулингового бюджета может не хватать на индексацию важных страниц.
Ухудшение ранжирования
Поисковые системы негативно относятся к дублям и могут пессимизировать страницу с дублированным контентом. При большом количестве дублей на сайте пессимизицая может коснуться сайта целиком.
Каннибализация запросов
Каннибализация запросов – это ситуация, когда несколько страниц сайта оптимизированы под одно и тоже. Поисковые системы должны определить какая страница является более релевантной. В такой ситуации в поиске может оказаться именно дубль страницы и, следовательно, вы получите более низкие позиции, чем у посадочной страницы. Причина в том, что дубль в большинстве случаев менее оптимизирован и имеет более низкие показатели поведенческих факторов и ссылочной массы.
Причины появления дублей
Очевидные дубли
Очевидные (явные) дубли – это дубли, которые полностью совпадают по содержанию. Причина появления таких дублей в следующем:
Некорректная настройка кода ответа несуществующих страниц
Несуществующие страницы должна отдавать код ответа 404. В некоторых случаях несуществующие страницы отдают код ответа 200 и тем самым создают большое количество дублей. Подобная проблема часто встречается на сайтах, работающих на CMS Bitrix в информационных разделах. Все несуществующие страницы должна отдавать корректный код ответа – 404. Проверьте все разделы сайта отдельно, т.к. один раздел может отдавать корректный код ответа, а другой нет. Проверить код ответа можно через сервис Яндекс.Вебмастер.
Дублирование товаров по категориям
Бывают ситуации, когда один товар выводится в нескольких категориях и в каждой категории имеет отдельный url с вложенностью текущей категории. Это распространенная проблема для интернет-магазинов с большой структурой каталога.
Варианты решения:
- Настроить вывод тега canonical для дублей товара с указанием основного url.
- Настроить вывод товара в дополнительных категориях по одному основному url.
- Сделать для товаров короткий вариант url. В таком случае вложенность товаров будет вида site.ru/product.
Самый неэффективный первый вариант, т.к. поисковые системы часто игнорируют тег canonical и в таком случае не удастся полностью избавиться от дублей. Второй и третий вариант полностью избавят вас от дублей, но есть последствия. Если ваш проект ещё на старте продвижение, то идеальный будет 3 вариант, т.к. вы ничем не рискуете и полностью избавляете ваш проект от дублирования товаров. Но если ваш сайт уже имеет хорошие позиции и трафик на карточки товара, то смена url скажется негативно, поэтому в этом случае стоит выбрать второй вариант.
Дублирование материалов по нескольким категориям
Дубли, которые появились в результате дублирования материалов по нескольким категориям. Они могли появиться в результате ручной привязки, либо из-за ошибок работы cms. В случае ручной привязки решается аналогично как с карточками товара.
При некорректной работе cms важно исправить это дублирование. Например, такая проблема часто встречается на сайтах, работающих на cms Joomla. В случае, если материал не привязан к пункту меню он дублируется по всем категориям сайта. В случае с джумлой это лечится с помощью плагина jl no doubles.
Отсутствие редиректа со слэша
Дубли вида https://site.ru/page и https://site.ru/page/.
Решение: настройка либо 301-редиректа, либо кода ответа 404.
Что касается выбора какие оставить url со слэшем на конце или без, то здесь стоить смотреть каких url у вас на сайте было больше. После настройки редиректа стоит спарсить сайт и убедиться, что не появились лишние внутренние редиректы.
Отсутствие редиректа с www
Аналогично со слэшем, но помимо дублирования контента это грозит ещё сменной главного зеркала. Фактически site.ru и www.site.ru — это разные домены. Решается также — настройкой 301-редиректа. Но здесь важно определить правильно главное зеркало.
Неочевидные дубли
Страницы с GET-параметрами
Одна из самых распространенных причин дублирования. Страницы с get-параметрами могут появиться при использовании фильтров, сортировки, поиска по сайту. Пример страницы с GET-паратмерами: example.com?q=search-test. Решается данная проблема закрытием от индексации. Закрыть страницы от индексации можно в файле robots.txt, либо добавлением мета-тега. В идеале использовать два способа вместе.
Страницы пагинации
Обычно категории товары разделены на страницы пагинации. Это делается для того, чтобы сэкономить ресурсы на загрузку страницы и не грузить сразу весь каталог. Каждая страница пагинации — это отдельная страница, которая дублирует основную категорию. Закрыть страницы пагинации от индексации как остальные страницы с GET-параметрами — плохое решение, т.к. нужно, чтобы содержимое этих страниц тоже индексировалось. В этом случае отличным решением будет добавление на страницы пагинации тега <meta name="robots" content="noindex, follow" />. В таком случае содержимое страниц будет индексироваться, а дубли пагинации не будут заходить в индекс поисковых систем.
Ошибки генерации мета-тегов
Этот вид дублей относиться к нетипичным, потому что страницы полностью отличаются по содержанию, но их мета-теги задублированы из-за некорректной настройки шаблона генерации.
Решение: просканировать сайт краулером и проверить мета-теги всех страниц сайта.
Неуникализация карточек товара
Данный вид дублей касается дублирования названий товаров. Решается уникализацией заголовков за счет вывода в заголовок каких-либо характеристик.
Пример неуникальных карточек товара:
Пример уникализации карточек товара:
Повторяющиеся блоки
Данный вид дублирования встречается на шаблонных страницах, где повторяются одни и те же блоки. Этими блоками могут быть: отзывы, галерея, форма заявки и т.п. Решается оборачиванием шаблонных блоков в тег noindex.
Как проверить сайт на наличие дублей
Сервисы вебмастеров
Первым делом идем в панель Яндекс.Вебмастера и Google Search Console. Проверяем наличие дублей и первым делом исправляем эти дубли, т.к. они уже известны поисковым системам.
Поиск дублей через сервисы проверки на уникальность
Например, через сервис text.ru. После проверки текста в отчете будут все найденные страницы в интернете с проверяемым текстом.
На скриншоте видно на каких страницах найден проверяемый текст.
Поиск дублей с помощью краулеров
Один из самых эффективных способов поиска дублей на сайте. Проверить сайт можно с помощью программы Screaming Frog SEO Spider.
Процесс поиска прост:
- Сканируем сайт;
- Проверяем дубли в h1, title, description. Для этого идем по вкладкам: Page Titles, Meta Description, H1 и фильтруем по Duplicate;
- Проверяем все дубли и разбираемся с причиной их появления.
Этот метод отлично помогает при поиске дублей. Буквально за несколько минут вы обнаружите все дубли на сайте даже с десятками тысяч страниц.
Как устранить дублирование контента на сайте
В статье мы подробно разобрали способы устранения дублей для разных типов дублирования.
Подведем итог:
- Страницы с GET-параметрами закрываем в файле robots.txt и добавляем тег robots “noindex”.
- Для страниц пагинации добавляем тег
<meta name="robots" content="noindex, follow"/>. - При дублировании материалов и карточек товаров по нескольким категориям либо настраиваем тег canonical, либо настраиваем вывод по основному url, либо делаем короткий вариант url.
- Настраиваем код ответа для несуществующих страниц 404.
- Настраиваем все редиректы на главное зеркало. Варианты редиректов: с www, с index.php, с http, с “/”.
- Дублированные шаблонные блоки оборачиваем в тег
<noindex>.
