Дубли страниц

Откуда берутся

• Версии с www и без, с http и https.
• Адреса со слэшем на конце и без него.
• Страницы с рекламными метками и параметрами фильтров.
• Копирование текста между страницами услуг «чтобы было».

Технические дубли лечатся редиректом 301 и каноническим адресом, содержательные — переписыванием: если две страницы отвечают на один запрос, лучше объединить их в одну сильную.

Как их найти

1. Откройте сайт четырьмя способами: с www и без, по http и по https. Все должны приводить к одному адресу.
2. В Яндекс Вебмастере посмотрите раздел с дублирующимися заголовками и описаниями — он показывает содержательные дубли.
3. Проверьте, отдаёт ли несуществующий адрес код 404, а не копию главной: `curl -s -o /dev/null -w "%{http_code}" https://example.ru/net-takoy-stranicy`.
4. Посмотрите статистику обхода: если робот ходит по адресам с метками, значит дубли создаёт реклама.

Чем они вредят на самом деле

Первое следствие — поисковик выбирает из копий одну, и выбор не всегда совпадает с вашим. В выдаче может оказаться страница с рекламной меткой в адресе или версия с www, на которую вы не ставили ссылок. Внешне это незаметно, пока не понадобится дать кому-то ссылку и не обнаружится, что в поиске другой адрес.

Второе — трата обхода. У робота есть ограниченный лимит страниц, которые он готов забрать с сайта за визит. Если половина уходит на копии, новые страницы попадают в индекс медленнее. На сайте из десяти страниц это неважно, на сайте из двух сотен — уже заметно.