Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Письмо в Яндекс про дубли страниц и клоакинг

10 Апреля 2013 года

Продолжаем разговор про дубли, начатый в предыдущем посте. Написал по-быстрому письмо Платонам по поводу своего гипотетического решения проблемы дублей, и вот оно перед вами.

Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.

Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.

Здравствуйте, Платон!

Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.

Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.

Буду благодарен, если ответите на некоторые вопросы.

1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?

2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?

3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление

Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).

Заранее благодарен.

И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.

Камменты

Вячеслав04.08.2014, 11:04#
Спасибо за информацию!

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

08.02.2008 · 25 камментов · рейтинг 6.78
06.07.2015 · 7 камментов · рейтинг 6.41
02.03.2012 · 12 камментов · рейтинг 5.95
03.04.2012 · 11 камментов · рейтинг 5.73
19.02.2008 · 106 камментов · рейтинг 5.59

Последне камменты

27.10.2018  mix64Новый Яндекс.Браузер - браузер "Yandex" (отзыв / обзор): Как не крути но все разработчики браузеров будто с...
24.09.2018  СаняТестовое задание для PHP-программиста (Junior): Хороший пример) А можно ради разнообразия аналогич...
31.07.2018  ДубрНаконец-то, нормальная работа с LESS в NetBeans: Sergio, вообще NetBeans кажется предлагал компилит...
18.07.2018  яндекс диск моя страницаНовый Яндекс.Браузер - браузер "Yandex" (отзыв / обзор): всем рекомендую
24.06.2018  SergioСвязь: Уважаемое автор. Прочитал статью про NetBeans и ...

Статсы