Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Письмо в Яндекс про дубли страниц и клоакинг

10 Апреля 2013 года

Продолжаем разговор про дубли, начатый в предыдущем посте. Написал по-быстрому письмо Платонам по поводу своего гипотетического решения проблемы дублей, и вот оно перед вами.

Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.

Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.

Здравствуйте, Платон!

Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.

Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.

Буду благодарен, если ответите на некоторые вопросы.

1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?

2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?

3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление

Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).

Заранее благодарен.

И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.

Камменты

Вячеслав04.08.2014, 11:04#
Спасибо за информацию!

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

16.05.2007 · 31 каммент · рейтинг 7.03
02.10.2012 · 93 каммента · рейтинг 6.47
06.07.2015 · 7 камментов · рейтинг 5.69
03.04.2012 · 12 камментов · рейтинг 5.61
02.03.2012 · 12 камментов · рейтинг 5.58

Последне камменты

12.10.2019  6THFV6ZDSU0J 6THFV6ZDSU0J 6THFV6ZDSU0J www.yandex.ruДинамическая отправка формы с файлом в IE (ajax file upload + form.submit): S5yizZQjiS9
26.09.2019  5ZQMBL3RXY98 5ZQMBL3RXY98 5ZQMBL3RXY98 www.yandex.ruтам же: xwWbT1nO
26.09.2019  AT8LJX8SMJPE AT8LJX8SMJPE AT8LJX8SMJPE www.yandex.ruПочему не работает form.submit(): OuQnxIU8HYE
24.09.2019  2SSUSLMI 2SSUSLMI 2SSUSLMI www.yandex.ruтам же: 1DaGyZzh5
04.05.2019  Brian Fargoтам же: Спасибо. Все на поверхности, но фиг вкуришь с лету...

Статсы