Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.
Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.
Здравствуйте, Платон!
Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.
Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.
Буду благодарен, если ответите на некоторые вопросы.
1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?
2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?
3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление
Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).
Заранее благодарен.
И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.
